支援大型語言模型與智能代理基準測試的框架

現在的AI模型基準測試方法有個大問題：頂尖實驗室每次都要建造新模型、設定測試工具，然後跑一堆龐大的測試套件，結果只是為了證明一點點的進步。這根本是在浪費資源——我們實際上是在燃燒碳排放來換取微小的信心提升。看看最近的Gemini基準測試就知道有多沒效率。這篇文章主張我們需要更好的框架來測試AI模型，不用陷入這種不斷重新訓練和重新測試的惡性循環。