RTX 5080 한 장으로 2.35억 파라미터 언어 모델을 처음부터 만들기

한 개발자가 PyTorch를 사용하여 단일 소비자용 GPU에서 트랜스포머 언어 모델을 완전히 처음부터 훈련했습니다. 사전 훈련된 가중치 없음, 지름길 없음. 그 결과가 Plasma 1.0으로, 2.35억 파라미터, 18개 레이어, 숨겨진 크기 1024인 모델입니다. LLaMA 스타일의 아키텍처를 채택하고 있으며, 그룹화된 쿼리 어텐션(GQA), SwiGLU FFN, RoPE 위치 인코딩, RMSNorm을 포함합니다. 모든 파라미터가 원본 텍스트에서 직접 학습되었으며, 대규모 컴퓨팅 클러스터 없이도 실용적인 언어 모델을 훈련할 수 있음을 증명합니다.