Snapdragon Hexagon NPU에서 llama.cpp 실행이 유망해 보임

개발자가 Snapdragon 8 Gen 3이 탑재된 OnePlus 12에서 Hexagon NPU 백엔드를 사용하여 llama.cpp를 성공적으로 실행했습니다. Qualcomm의 공식 문서를 따라 Ubuntu에서 크로스 컴파일한 후 Termux 디렉토리에 배포했습니다. 결과는 인상적입니다. Gemma-3-12B는 8토큰/초(프롬프트 처리)와 4.5토큰/초(텍스트 생성)를 달성했으며, 더 작은 Gemma-3-4B 모델은 20토큰/초와 12.5토큰/초를 기록했습니다. Qualcomm 엔지니어들의 여러 풀 리퀘스트가 있어 모바일 기기에서 직접 대규모 언어 모델을 실행하는 것에 대한 강력한 공식 지원을 시사합니다.