下に引いて戻る
MemPalaceの96.6% LongMemEvalスコアに疑問?評価方法の問題点を業界人士が指摘

MemPalaceの96.6% LongMemEvalスコアに疑問?評価方法の問題点を業界人士が指摘

Sanity check on Milla Jovovich's MemPalace: Mixed metrics, bypassed judges, and that 96.6% LongMemEval score

まず前置きとして:私も別のオープンソース記憶システム(bitterbot-desktop、約125スター対MemPalaceの約4万スター)を開発しています。同じ問題を異なる角度から解決しようとしており、MemPalaceのベンチマークコードを読んだのは、彼らのスコアが業界平均より圧倒的に高いからです。 読んでみた結果、かなり疑わしい点が見つかりました。正直なところ、どう解釈すべきか確信が持てないので、長文本評価(LongMemEval)の専門家からの意見をもらいたいです。

キーワード

memory systemsbenchmark evaluationopen-sourceperformance metricsevaluation methodology