아래로 당겨서 돌아가기
MemPalace의 96.6% LongMemEval 점수에 의문 제기: 평가 방식 결함과 의심스러운 지표들

MemPalace의 96.6% LongMemEval 점수에 의문 제기: 평가 방식 결함과 의심스러운 지표들

Sanity check on Milla Jovovich's MemPalace: Mixed metrics, bypassed judges, and that 96.6% LongMemEval score

먼저 밝혀두겠습니다: 저도 다른 오픈소스 메모리 시스템(bitterbot-desktop, 약 125개 스타 vs MemPalace의 약 4만 개 스타)을 개발하고 있습니다. 같은 문제를 다른 각도에서 해결하려고 하는데, MemPalace의 성과가 업계 평균보다 훨씬 높아서 그 벤치마크 코드를 직접 읽어봤습니다. 읽어본 결과 상당히 의심스러운 부분들을 발견했습니다. 솔직히 어떻게 해석해야 할지 확신이 서지 않아서, 장문 평가(LongMemEval) 전문가들의 의견을 듣고 싶습니다.

키워드

memory systemsbenchmark evaluationopen-sourceperformance metricsevaluation methodology