훈련 중 행렬 곱셈 병목 현상을 극복하는 새로운 방법: 사원수로 Transformer 재설계하기

핵심 아이디어는 Transformer에서 정보를 표현하기 위해 잘못된 수학적 도구를 사용하고 있을 수 있다는 것입니다. 3D 회전의 기초가 되는 대수인 사원수(quaternion)는 완전히 다른 계산 방식을 제공합니다. 어텐션 메커니즘의 실수 투영을 해밀턴 곱(Hamilton product)으로 바꾸면, 파라미터 수를 4분의 1로 줄이면서도 동일한 효과를 얻을 수 있습니다. 더 흥미로운 점은 기하학적 관점입니다. LoRA 같은 미세 조정 방법이 효과적인 이유는 미세 조정 업데이트가 저차원 회전 부분공간에 집중되기 때문입니다. 이는 본질적으로 회전 연산인 것을 지나치게 복잡한 방식으로 수행해왔을 가능성을 시사합니다.