티스토리 뷰
목차
AI 모델의 성능 평가에서 가장 높은 점수를 받았는데도 정부의 AI 프로젝트에서 탈락한다면 어떨까요?
2026년 8월, 국내 AI 기업 모티프테크놀로지스가 바로 이런 상황을 겪었습니다. 자체 개발한 AI 모델 '모티프 3'는 주요 글로벌 벤치마크에서 경쟁 모델보다 높은 점수를 기록했지만, 정부의 독자 AI 파운데이션 모델 프로젝트 2차 평가에서는 최종 탈락했습니다.
도대체 왜 이런 결과가 나왔을까요? 기술력과 사용성 평가의 차이, 모티프의 이의 제기, 이번 논란이 국내 AI 산업에 남긴 의미를 살펴보겠습니다.
1. 모티프테크놀로지스는 어떤 기업일까?
모티프테크놀로지스는 자체 AI 모델을 개발하는 국내 인공지능 기업입니다. 이번 논란의 중심에 있는 모델은 '모티프 3'입니다.
모티프는 정부가 추진하는 독자 AI 파운데이션 모델 프로젝트에 참여했습니다. 이 사업은 국내 AI 기술 경쟁력을 높이고 산업 현장에서 활용할 수 있는 AI 기반을 육성하는 데 목적이 있습니다.
여기서 중요한 점은 모티프테크놀로지스가 과거 미국에서 운영되다가 종료된 투자 서비스 'Motif Investing'과 전혀 다른 기업이라는 사실입니다.
2. AI 성능 평가에서 앞섰는데 왜 탈락했을까?
2026년 8월 발표된 독파모 2차 평가에서 모티프 3는 글로벌 AI 평가기관 아티피셜 애널리시스의 지능지수(AAII)에서 47점을 기록했습니다.
같은 평가에서 업스테이지는 37점, SK텔레콤은 35점, LG AI연구원은 31점을 기록했습니다.
하지만 정부의 최종 평가는 AI 모델의 벤치마크 성능만으로 결정되지 않았습니다. 전문가 평가와 실제 사용자 평가도 반영됐기 때문입니다.
모티프는 벤치마크 부문에서 높은 평가를 받았지만, 전문가 및 사용자 평가를 합산한 종합점수에서는 4위로 탈락했습니다.
3. 독파모 평가 기준은 어떻게 달랐을까?
독파모 2차 평가는 총 100점 만점으로 구성됐습니다.
| 평가 항목 | 배점 |
|---|---|
| AI 벤치마크 평가 | 40점 |
| 전문가 평가 | 35점 |
| 사용자 평가 | 25점 |
| 합계 | 100점 |
벤치마크 평가는 정해진 문제를 해결하는 AI 모델의 성능을 측정합니다. 반면 전문가와 사용자 평가는 기술적 완성도뿐 아니라 지시 이행, 답변의 유용성, 실제 활용 가능성 등을 폭넓게 살펴봅니다.
따라서 특정 성능지표에서 높은 점수를 받더라도 종합평가에서는 다른 결과가 나올 수 있습니다.
4. 모티프는 평가 결과에 왜 이의를 제기했을까?
모티프테크놀로지스는 2026년 8월 27일 정부의 2차 평가 결과에 정식으로 이의를 제기했습니다.
모티프가 문제를 제기한 핵심은 높은 벤치마크 성능이 최종 점수에 충분히 반영됐는지, 전문가 및 사용자 평가 기준이 적절했는지에 관한 것이었습니다.
또한 항목별 상세 점수와 평가 방식 등을 공개해 달라고 요청했습니다.
반면 정부는 AI 모델을 실제 산업과 서비스에 적용하려면 벤치마크 점수뿐 아니라 사용자 경험과 활용 가능성도 함께 평가해야 한다는 입장을 밝혔습니다.
이 문제는 어느 한쪽이 반드시 옳다고 단정하기보다, 평가 기준의 목적과 투명성을 함께 살펴볼 필요가 있습니다.
5. 이번 논란이 국내 AI 산업에 남긴 의미
이번 사건은 AI 기술을 평가할 때 무엇을 더 중요하게 볼 것인지 질문을 던졌습니다.
AI 모델 자체의 성능을 중시하는 시각에서는 글로벌 벤치마크에서 높은 점수를 받은 성과가 충분히 인정받아야 한다고 봅니다.
반대로 실제 활용성을 중시하는 시각에서는 기업과 일반 사용자가 안정적으로 이용할 수 있는지도 중요한 경쟁력이라고 평가합니다.
두 기준 모두 의미가 있습니다. 앞으로는 기술 성능과 실사용 평가를 어떤 비중으로 반영하고, 그 결과를 얼마나 투명하게 공개하는지가 더욱 중요한 과제가 될 수 있습니다.
6. 결론: 기술력 1위와 종합평가 1위는 다르다
모티프 3는 주요 AI 벤치마크에서 뛰어난 성과를 보였지만, 정부의 종합평가에서는 다른 기업들보다 낮은 점수를 받아 탈락했습니다.
이는 기술력이 부족하다고 단순히 결론 내릴 문제도, 평가 결과가 잘못됐다고 확정할 문제도 아닙니다.
AI 경쟁력은 기술 성능뿐 아니라 실제 사용 경험과 활용 가능성, 그리고 공정하고 투명한 평가 체계를 통해 함께 판단해야 합니다.
여러분은 국가 AI 프로젝트에서 기술 성능과 실제 사용성 중 어떤 기준에 더 높은 비중을 둬야 한다고 생각하시나요?
※ 이 글은 2026년 8월 발표된 평가 결과와 당시 보도를 바탕으로 작성했습니다. 이후 사업 진행 상황이나 평가 관련 입장은 달라질 수 있습니다.