下に引いて戻る
MemPalaceが自社ベンチマークで「完璧なスコア」を主張—ただし説明書には意味がないと書いてある

MemPalaceが自社ベンチマークで「完璧なスコア」を主張—ただし説明書には意味がないと書いてある

MemPalace Claims 'Perfect Score' on Its Own Tests—Then Admits in Fine Print Why That Doesn't Mean Anything

新しいオープンソースメモリプロジェクト「MemPalace」が登場し、「LoCoMoで100%達成」「LongMemEvalで史上初の完璧スコア」と主張しています。その数字があまりに良かったため、GitHubリポジトリは24時間以内に7,000スター以上を獲得し、ローンチツイートは150万ビューに達しました。ところが、プロジェクト自体のBENCHMARKS.mdファイルには、これらの「完璧な」スコアがなぜ意味がないのかが詳しく書かれています。つまり、自分で作ったテストで満点を取ってから、その答案用紙に「このテストは実は何も測定していない」と書くようなものです。

キーワード

benchmarkevaluationmemoryopen-sourcemisleading claimsmetrics