你有沒有擔心過 ChatGPT 會被某些狡猾的提示詞騙到去做你沒有要求的事情？研究人員剛剛找到了一個方法，讓人工智慧模型在這方面表現得更好。這個方法叫做 IH-Challenge，基本上就是訓練 AI 優先執行來自信任來源的指令，而忽視那些試圖劫持它的隨意嘗試。想像一下，就像教你的 AI 助手學會分辨什麼時候有人在試圖欺騙它，什麼時候才是真正的合法請求。結果呢？模型變得更難被操縱、更安全可靠，而且真的會聽你的話，而不是被提示詞注入攻擊所迷惑。這很重要，因為隨著 AI 變得越來越強大，確保它遵循正確的指令就變成了關鍵問題。
資安公司Pillar Security研究人員近日發布報告，揭露Google的AI代理開發工具Antigravity存在提示注入（Prompt Injection）弱點，攻擊者可藉此繞過沙箱防護機制，進而從遠端執行惡意指令，此漏洞已向Google通報，並完成修補。
這不只是 Google 的問題啦——任何會處理外部提示的 AI 代理工具底下都可能藏著同樣的沙盒繞過弱點
AMD 的 AI 總監分析了 6,852 個 Claude Code 工作階段，結果超級扎心：Claude 在複雜工程任務上的表現不是進步，而是退步。數據慘不忍睹——思考深度下降 67%、模型停止在編輯前閱讀程式碼（從 6.6 次降到 2.0 次），甚至開始盲目修改它根本沒看過的檔案。停止鉤子違規從零飆升到每天 10 次。原來 Anthropic 偷偷把預設努力等級從「高」降到「中」，還引入了「自適應思考」功能，結果根本沒在好好思考。如果你用 Claude 做任何關鍵任務，這絕對是個警訊。
這個模型根本沒在讀檔案就直接亂改，意思是你那個『AI 程式設計夥伴』可能在偷偷破壞你的工作程式碼
Google DeepMind 研究副總裁 Raia Hadsell 親自分享 Gemini 背後的尖端研究方向。這篇文章深入探討 Google 旗艦 AI 模型的未來發展，以及將如何推動其能力進化的關鍵研究方向。
示意圖Google 的 Gemini 內建了一個叫 SynthID 的浮水印技術，目的是標記 AI 生成的圖片，讓你能分辨真假。聽起來不錯對吧？但研究人員最近發現他們可以破解它。他們找到了方法去除或竄改這個浮水印，這表示壞人現在可以把 AI 圖片冒充成真實照片而不被發現。就像 Google 裝了一道鎖，結果有人找到了萬能鑰匙。這很重要，因為隨著 AI 圖片生成技術越來越強，我們需要可靠的方法來識別假圖——尤其是在深度偽造和假資訊越來越猖獗的時代。SynthID 這麼容易被反向工程，對整個業界來說真的是個警鐘。