아래로 당겨서 돌아가기
MiniMax2.7, Terminal Bench에서 참패—M2.5보다 오히려 성능 저하

MiniMax2.7, Terminal Bench에서 참패—M2.5보다 오히려 성능 저하

MiniMax2.7 Underperforms on Terminal Bench—Local Testing Shows It's Actually Worse Than M2.5

Mac Studio M3 Ultra에서 로컬로 실행한 Terminal-Bench 2.0 전체 테스트에서 MiniMax-M2.7의 성적이 기대 이하였다. 445회 시도 후 정확도는 겨우 41.3%—구형 M2.5의 42.7%보다 오히려 낮다. 434회 테스트 중 성공은 184건, 실패는 250건. 187건은 타임아웃 에러(모델이 시간 초과, 크래시 아님). 처리 속도도 느려서 초당 10~17 토큰 수준. Claude에서 에이전트 코딩에 MiniMax2.7을 쓸 생각이라면, 이 벤치마크는 M2.5를 계속 쓰거나 다른 옵션을 찾아보라고 제시한다. 새 버전이 기대했던 성능 향상을 이루지 못한 것 같다.