往下拉回到首頁
MemPalace 的 96.6% LongMemEval 分數有問題?業界人士揭露評測漏洞與可疑指標

MemPalace 的 96.6% LongMemEval 分數有問題?業界人士揭露評測漏洞與可疑指標

Sanity check on Milla Jovovich's MemPalace: Mixed metrics, bypassed judges, and that 96.6% LongMemEval score

先說清楚:我自己也在開發開源記憶系統(bitterbot-desktop,約 125 顆星,相比 MemPalace 的 4 萬顆星),我們從不同角度解決同樣的問題。正因為 MemPalace 的成績遠高於業界其他方案,我特地去讀了他們的評測程式碼,想搞清楚差距在哪。 結果我發現了一些令人困惑的地方,真的不確定該怎麼解讀,所以想請懂長文本記憶(LongMemEval)的人幫忙檢查一下。

關鍵字

memory systemsbenchmark evaluationopen-sourceperformance metricsevaluation methodology