往下拉回到首頁
MemPalace 那個 96.6% 的分數真的假的?業界人士發現評測有鬼

MemPalace 那個 96.6% 的分數真的假的?業界人士發現評測有鬼

Sanity check on Milla Jovovich's MemPalace: Mixed metrics, bypassed judges, and that 96.6% LongMemEval score

欸你知道嗎,有個叫 MemPalace 的 AI 記憶系統最近分數超高,說自己在 LongMemEval 測試裡拿到 96.6%,遠遠超過其他競爭對手。結果有個業界人士(自己也在做類似的開源系統)去看了他們的評測程式碼,發現問題大了。 簡單來說就是,這個分數可能不太對勁——評測方式有漏洞,評判標準也很可疑。這就像你看到某個補習班說他們學生 100% 上台大,結果一查才發現他們根本沒有真正的考試一樣。這位業界人士現在也不確定該怎麼看待這個成績,所以想問問真正懂這領域的人,到底是怎麼回事。如果你有在關注 AI 記憶技術的發展,這個爆料滿值得看的。

相關標籤

memory systemsbenchmark evaluationopen-sourceperformance metricsevaluation methodology