아래로 당겨서 돌아가기
50억 토큰 학습 중 내 LLM의 디코더 블록이 어떻게 변했는지

50억 토큰 학습 중 내 LLM의 디코더 블록이 어떻게 변했는지

Here's how my LLM's decoder block changed while training on 5B tokens

실험적 모델의 지속적인 학습을 모니터링하고 있습니다. 기존 Transformer의 MLP 디코더를 K-Splanifolds 논문에서 설명한 이산 저차원 스플라인 다양체 기하학으로 대체했습니다. 이 이미지는 50억 토큰 학습 중 128개 층 중 96번째 층이 어떻게 발전했는지 보여줍니다. 1,800만 파라미터 모델이 예상외로 잘 작동하고 손실이 계속 감소하고 있어서, 정체 현상이 보일 때까지 계속 학습시킬 예정입니다. 이 모델의 발전 과정이 흥미로울 것 같아 공유합니다.

키워드

LLM trainingdecoder blockspline geometryK-Splanifoldstransformerloss reductionmodel monitoring