下に引いて戻る
Snapdragon Hexagon NPUでllama.cppを実行するのは有望そう

Snapdragon Hexagon NPUでllama.cppを実行するのは有望そう

Running llama.cpp on Snapdragon Hexagon NPU seems promising

開発者がSnapdragon 8 Gen 3搭載のOnePlus 12でllama.cppをHexagon NPUバックエンドで正常に実行しました。Qualcommの公式ドキュメントに従い、UbuntuでクロスコンパイルしてTermuxディレクトリにデプロイしています。結果は素晴らしく、Gemma-3-12Bは8トークン/秒(プロンプト処理)と4.5トークン/秒(テキスト生成)を達成し、より小さいGemma-3-4Bモデルは20トークン/秒と12.5トークン/秒を記録しました。Qualcommのエンジニアからの複数のプルリクエストがあり、モバイルデバイスで直接大規模言語モデルを実行することへの強い公式サポートが示唆されています。