
OpenAI 直播活動
OpenAI 將舉辦一場直播活動。在直播期間將揭露具體的公告、產品發布或示範內容。
上一次 OpenAI 突然搞直播,他們直接丟出 GPT-4 Turbo,然後一夜之間改掉所有定價

llama.cpp(那個讓你在自己電腦跑 AI 模型的工具)剛剛合併了一個叫「推測檢查點」(speculative checkpointing)的功能,理論上可以加快速度。但這裡有個問題:效果超級不穩定。有些提示詞能快 50%,有些根本沒差。原因是它得看你在做什麼——寫程式碼的任務有不錯的加速,但如果你的提示詞有很多重複,或者 AI 一直拒絕預測,那就沒轍了。真正的重點是你得根據自己的任務調整參數。不是什麼魔法,但如果你在本地跑 AI 模型,值得試試看。