초당 1토큰에서 100토큰으로: 당신의 낡은 하드웨어가 슈퍼컴퓨터로 변신했다

2년 전 Llama 405B를 로컬에서 초당 1.2토큰으로 실행할 수 있었을 때의 흥분을 기억하나요? 이제 같은 하드웨어로 Qwen 3.5-397B, DeepSeek V4 Flash, Minimax 2.7 같은 최신 대형 AI 모델을 초당 30~100토큰으로 실행할 수 있으며, Llama 405B의 성능을 훨씬 능가합니다. 속도 향상이 정말 놀랍습니다. 예전에는 고가의 GPU가 필요했던 작업을 이제는 이미 소유하고 있는 장비로 실행할 수 있게 되었습니다. 이런 속도의 진화를 보면 내년에 무엇이 가능할지 상상도 안 갑니다.