往下拉回到首頁
llama.cpp 新功能可能會讓你的 AI 跑得更快,但不一定啦

llama.cpp 新功能可能會讓你的 AI 跑得更快,但不一定啦

llama.cpp just got a speed hack that might make your AI faster (or not)

欸你知道 llama.cpp 嗎?就是那個讓你在自己電腦裡跑 AI 模型的工具。最近他們加入了一個新功能叫「推測檢查點」,聽起來很厲害,可以加快速度。但說真的有點扯,效果根本不穩定。有時候快 50%,有時候根本沒差。原因是這東西得看你在做什麼——如果你是在寫程式碼,確實會快一點,但要是你的問題有很多重複的字,或者 AI 一直在拒絕它的預測,那就沒救了。簡單來說就是你得自己調整設定,根據你的工作內容來微調。不是什麼魔法,但如果你有在用本地 AI,可以試試看,說不定會有驚喜。