往下拉回到首頁
訓練方法改一下,AI 模型人類評分直接贏 63%——但你看不出有什麼不同

訓練方法改一下,AI 模型人類評分直接贏 63%——但你看不出有什麼不同

A Simple Training Tweak Makes AI Models 63% Better at Human Judgment—Without Changing Performance Metrics

欸你知道嗎,有個研究人員做了個滿有趣的實驗。他訓練了兩個一模一樣的 AI 模型,用同樣的資料、同樣的方式,只改了一個地方——一個用新的訓練技巧(什麼精度加權啦、分層梯度啦,聽起來很複雜但其實就是改怎麼教 AI),另一個就用傳統方法。結果超扯的是,兩個模型的成績看起來完全一樣,沒有差別。但是呢,他找了 10 個人(7 個真人 + 3 個 AI)來盲測比較,結果新方法的模型被選中的機率是 63.4%。簡單來說就是,新方法確實做出了什麼東西,人類能感受到,但我們平常用的那些數字指標完全看不出來。而且統計上也證實這不是巧合。這代表什麼?可能我們一直在用錯誤的方式評估 AI 的好壞啦。