아래로 당겨서 돌아가기
새로운 Transformer 아키텍처 T³의 오픈소스 해석가능성 데이터셋 및 벤치마크 라이브러리

새로운 Transformer 아키텍처 T³의 오픈소스 해석가능성 데이터셋 및 벤치마크 라이브러리

Open-Source Interpretability Dataset for Novel Transformer Architecture T³ with Clifford Algebra Attention

한 연구자가 1년간 독립적으로 개발한 T³는 클리포드 대수(Clifford algebra)를 기반으로 한 혁신적인 Transformer 아키텍처입니다. 표준 어텐션 메커니즘을 확장하여 각 헤드마다 생태학적 구조를 추가했습니다. t3atlas.dev에서는 GPT-2, Gemma3, Qwen2.5 등 여러 기반 모델에서 수집한 247개의 추론 추적 기록을 공개하고 있으며, 이를 통해 이 아키텍처의 동작을 상세히 검증할 수 있습니다. AI 해석가능성 연구에 중요한 기여입니다.