往下拉回到首頁
新型 Transformer 架構 T³ 的開源可解釋性資料集與基準測試庫

新型 Transformer 架構 T³ 的開源可解釋性資料集與基準測試庫

Open-Source Interpretability Dataset for Novel Transformer Architecture T³ with Clifford Algebra Attention

一位研究者花了一年時間獨立開發 T³,這是一個創新的 Transformer 架構,它用克利福德代數(Clifford algebra)為每個注意力頭部建立生態結構,突破了標準注意力機制的限制。現在他們把 t3atlas.dev 公開了,裡面有 247 個推論追蹤紀錄,涵蓋 12 種架構變體和 3 個基礎模型(GPT-2、Gemma3、Qwen2.5)。這對 AI 可解釋性研究來說是個重要貢獻——讓我們能更清楚地看到 AI 模型內部怎麼運作的。