下に引いて戻る
新しいTransformerアーキテクチャT³の解釈可能性データセットとベンチマークライブラリをオープンソース化

新しいTransformerアーキテクチャT³の解釈可能性データセットとベンチマークライブラリをオープンソース化

Open-Source Interpretability Dataset for Novel Transformer Architecture T³ with Clifford Algebra Attention

研究者が1年かけて独立開発したT³は、クリフォード代数に基づいた注意機構の新しいアプローチです。標準的なAttentionを拡張し、各ヘッドに生態学的構造を組み込んでいます。t3atlas.devでは、247個の推論トレースをGPT-2、Gemma3、Qwen2.5といった複数の基盤モデル上で公開しており、このアーキテクチャの動作を詳しく検証できます。AI解釈可能性研究への重要な貢献です。