아래로 당겨서 돌아가기
연구 결과: 최신 LLM을 순위 매기는 플랫폼들이 신뢰할 수 없다

연구 결과: 최신 LLM을 순위 매기는 플랫폼들이 신뢰할 수 없다

Study: Platforms that rank the latest LLMs can be unreliable

온라인 순위 플랫폼의 기반이 되는 크라우드소싱 데이터의 극히 일부만 제거해도 결과가 크게 달라질 수 있다는 연구 결과가 나왔습니다. 많은 사람들이 의존하는 AI 모델 순위 사이트가 생각보다 훨씬 불안정하다는 뜻입니다. 이 플랫폼들은 사용자 투표와 평가 데이터로 어떤 AI가 가장 우수한지를 결정하는데, 데이터의 극히 작은 부분만 조작되어도 전체 순위가 크게 바뀔 수 있다는 것입니다.

키워드

large language modelscrowdsourced dataranking reliabilityevaluation biasdata integrity