往下拉回到首頁
你的手機現在可以跑 AI 模型了,而且速度還不錯

你的手機現在可以跑 AI 模型了,而且速度還不錯

Running llama.cpp on Snapdragon Hexagon NPU seems promising

欸你知道嗎,有人成功在 OnePlus 12 手機上面跑起來大型 AI 模型(llama.cpp),而且用的是手機裡面的 AI 專用晶片(Hexagon NPU)。簡單來說就是,他們不用靠雲端伺服器,直接在手機上就能跑 AI,速度快到有點扯。 實際測試的數字是這樣:跑一個 12 億參數的 AI 模型,每秒可以處理 8 個詞彙(提示詞),生成文字時每秒 4.5 個詞彙。如果用更小的 4 億參數模型,速度更快——每秒 20 個詞彙的提示詞處理,生成時每秒 12.5 個詞彙。 更扯的是,高通(Qualcomm)這家晶片公司好像很認真在推這件事,他們的工程師一直在改進這個技術。這代表以後你的手機可能真的不用連網路就能用 AI,隱私也更安全。有點像是把 ChatGPT 的能力直接放進你的手機裡面,只不過不用傳資料到雲端。