往下拉回到首頁
AI 模型的思考格式亂成一團,你的程式碼會跟著遭殃

AI 模型的思考格式亂成一團,你的程式碼會跟著遭殃

Why AI models can't agree on how to format their thinking (and why you should care)

欸你知道嗎,現在每個 AI 模型對於「怎麼標記自己的思考過程」都有自己的想法,根本沒人統一。Qwen 和 DeepSeek 用 `<think>...</think>`,Gemma 用 `<|channel>...</channel|>`,有時候 Gemma 又乾脆不用任何標記,直接丟文字給你。說真的有點扯。 這就像是每家餐廳都用不同的方式標記菜單一樣,只不過你得自己寫程式去讀懂它。vLLM 試著用 `--reasoning-parser` 來救火,但那根本就是在玩打地鼠遊戲,永遠打不完。如果你要用這些 AI 的思考過程來做什麼應用,你就得為每個模型寫一套自己的解析器。我們之前在「聊天模板」這件事上就吃過虧了,現在又要重複同樣的錯誤,有點無言。

相關標籤

reasoning tokensformat standardizationchat templatesmodel compatibilityparserLLM output format