往下拉回到首頁
AI 模型的思考格式大亂鬥:為什麼沒人能統一標準?

AI 模型的思考格式大亂鬥:為什麼沒人能統一標準?

Why AI models can't agree on how to format their thinking (and why you should care)

現在的情況有點扯:不同的大型語言模型(LLM)用完全不同的格式來標記它們的推理過程。Qwen 和 DeepSeek 用 `<think>...</think>`,Gemma 用 `<|channel>...</channel|>`,有時候 Gemma 乾脆不用任何分隔符,直接丟裸露的文字給你。簡直是災難。 vLLM 試著用 `--reasoning-parser` 旗標來修補這個問題,但這根本就是維護者在永遠地打地鼠。而且如果你要用這些推理輸出來做什麼下游應用?你得為每個模型寫自己的解析器。我們之前在聊天模板(chat template)上就學過這堂課了——看起來我們要重複犯同樣的錯誤。

關鍵字

reasoning tokensformat standardizationchat templatesmodel compatibilityparserLLM output format