아래로 당겨서 돌아가기
MemPalace가 자체 벤치마크에서 '완벽한 점수'를 주장했는데, 자신들의 문서가 왜 의미 없는지 설명하고 있다

MemPalace가 자체 벤치마크에서 '완벽한 점수'를 주장했는데, 자신들의 문서가 왜 의미 없는지 설명하고 있다

MemPalace Claims 'Perfect Score' on Its Own Tests—Then Admits in Fine Print Why That Doesn't Mean Anything

새로운 오픈소스 메모리 프로젝트 MemPalace가 "LoCoMo에서 100% 달성" "LongMemEval에서 사상 최초의 완벽한 점수"라고 주장하며 출시되었습니다. 이 수치가 너무 좋아서 GitHub 저장소는 24시간 이내에 7,000개 이상의 스타를 받았고, 출시 트윗은 150만 뷰를 기록했습니다. 그런데 여기가 문제입니다—MemPalace 자신의 BENCHMARKS.md 파일에는 이 "완벽한" 점수들이 왜 의미가 없는지가 자세히 설명되어 있습니다. 쉽게 말해서, 자신이 만든 시험에서 만점을 받고는 답안지에 "이 시험은 사실 아무것도 측정하지 못한다"고 써놓는 것과 같은 거죠.

키워드

benchmarkevaluationmemoryopen-sourcemisleading claimsmetrics