훈련 방법을 조금만 바꿔도 AI 모델이 인간 평가에서 63% 승률 달성—하지만 성능 지표는 변화 없음

연구자들이 동일한 데이터로 훈련한 12억 개 파라미터의 두 AI 모델을 비교했습니다. 유일한 차이점은 한 모델은 예측 부호화에서 영감을 받은 새로운 훈련 방법(정밀도 가중 이득과 계층별 그래디언트 스케일링)을 사용하고, 다른 모델은 표준 훈련을 사용했다는 것입니다. 여기가 흥미로운 부분—두 모델의 성능 지표는 거의 동일한데, 10명의 평가자(인간 7명 + AI 3개)가 맹검 비교를 했을 때 새로운 방법을 63.4% 확률로 선택했다는 거죠. 즉, 새로운 훈련 방법이 뭔가 의미 있는 것을 만들어내고 있는데 표준 지표로는 전혀 보이지 않는다는 뜻입니다. 통계적 유의성은 p = 1.98 × 10⁻⁵로, 이건 우연이 아닙니다. 함의는? AI의 품질을 측정하는 방식이 잘못되었을 수도 있다는 거예요.