往下拉回到首頁
MemPalace 宣稱在自家基準測試上「完美滿分」,但自己的文件卻說明為什麼這毫無意義

MemPalace 宣稱在自家基準測試上「完美滿分」,但自己的文件卻說明為什麼這毫無意義

MemPalace Claims 'Perfect Score' on Its Own Tests—Then Admits in Fine Print Why That Doesn't Mean Anything

一個新的開源記憶專案 MemPalace 昨天推出,聲稱「在 LoCoMo 上達到 100%」和「LongMemEval 上首次完美滿分」。這些數字看起來好到不行,GitHub 倉庫在不到 24 小時內獲得超過 7,000 顆星,推文也衝到 150 萬次瀏覽。但問題來了——MemPalace 自己的 BENCHMARKS.md 文件詳細說明了為什麼這些「完美」分數根本沒有意義。簡單來說就是,你自己出題然後自己滿分,再在答案卡上坦白說這份考卷其實測不出什麼有用的東西。

關鍵字

benchmarkevaluationmemoryopen-sourcemisleading claimsmetrics