往下拉回到首頁
AI 其實不是在想語言,而是在想圖形?科學家發現了 LLM 的真實思考方式

AI 其實不是在想語言,而是在想圖形?科學家發現了 LLM 的真實思考方式

LLM Neuroanatomy III - LLMs seem to think in geometry, not language

欸你知道嗎,AI 模型(LLM)內部到底在幹嘛?有個研究者一直在挖這個問題,上個月發了第三篇文章,結果匆匆忙忙就去度假了 🏝️,文章寫得有點粗糙所以後來下架了。這週末他重新整理好了,還加入了更多 AI 模型的分析結果,發現這些 AI 其實不是在處理文字,而是在用幾何圖形的方式思考——簡單來說就像是 AI 把你的問題轉換成一個多維空間裡的點和線,然後在那個空間裡找答案。他還在分析其他新模型,這週會陸續放出來。如果你對 AI 怎麼運作有興趣,這系列文章真的滿有意思的,會讓你對 ChatGPT 這類東西有完全不同的理解。