往下拉回到首頁
生產環境大型語言模型系統性違反工具架構限制以創造UI功能;觀察超過2,400則訊息 [D]

生產環境大型語言模型系統性違反工具架構限制以創造UI功能;觀察超過2,400則訊息 [D]

Production LLM Systematically Violates Tool Schema Constraints to Invent UI Features; Observed Over ~2,400 Messages [D]

我在生產環境中觀察到的新興行為寫作。在此發文以尋求方法論批評和相關研究指引。 背景:一個對話式AI系統(單一工具架構包含5個列舉動作類型,各有明確描述)。在超過2,400則訊息中觀察到,該模型在大多數時間正確使用列舉。當它偏離時,該偏離就是我們感興趣的重點。 主要觀察: 動作類型在不相關的對話中被一致地重新利用: