ChatGPTが巧妙なプロンプトで騙されて、あなたが頼んでもないことをするんじゃないかって心配したことありませんか？研究者たちがAIモデルをこういった攻撃に強くする方法を開発しました。IH-Challengeという手法で、基本的には信頼できる指示を優先し、不正なプロンプト注入を無視するようにAIを訓練するんです。あなたのAIアシスタントに、誰かが騙そうとしているのか、それとも正当なリクエストなのかを見分けるスキルを教えるようなものですね。その結果、操作されにくく、より安全で、あなたが本当に望むことをちゃんと実行するモデルが生まれます。AIが強力になればなるほど、正しい指示に従うことが重要になるので、これは結構大事な進歩です。
セキュリティ企業Pillar Securityの研究者が、GoogleのAIエージェント開発ツール「Antigravity」にプロンプトインジェクション（Prompt Injection）の脆弱性があることを報告しました。攻撃者はこの脆弱性を悪用してサンドボックス保護を回避し、遠隔からマルウェアコマンドを実行できる可能性があります。幸いなことに、Googleはすでに報告を受けて修正を完了しています。
これはGoogleだけの問題じゃないんです。外部プロンプトを処理するAIエージェントツールなら、同じサンドボックス脱出の弱点が潜んでる可能性があります
AMD のAI責任者が 6,852 件の Claude Code セッションを分析した結果、衝撃的な事実が判明しました。Claude の複雑なエンジニアリングタスク対応能力は進化ではなく、むしろ劣化しているということです。データは深刻です—思考の深さが 67% 低下、コード編集前の読み込み回数が 6.6 回から 2.0 回に激減、さらには見たこともないファイルを無思慮に編集し始めています。ストップフック違反は 0 から 1 日 10 件に急増。Anthropic が密かにデフォルト努力レベルを「高」から「中」に引き下げ、「適応的思考」という機能を導入したことが原因のようです。Claude を重要なタスクに使っている人は、この警告を真摯に受け止めるべきです。
このモデルは読んだことのないファイルに対して盲目的に編集を行っているため、あなたの『AIペアプログラマー』は気づかないうちに動作中のコードを壊している可能性があります
Google DeepMindの研究副社長Raia Hadsellが、Geminiを支える最先端の研究について語ります。この記事では、Googleのフラッグシップ AI モデルの今後の展開と、その能力を次のレベルへ引き上げるための研究方向を探ります。
イメージ画像Googleの「Gemini」に搭載されている「SynthID」というAI生成画像検出技術があります。これはAI画像に透かしを入れて、本物と区別できるようにするはずでした。ところが、研究者たちがこのシステムを破ることに成功してしまったんです。透かしを削除・改ざんする方法を見つけたということは、悪意のある人たちがAI画像を本物として通すことができるようになったということ。つまり、Googleが付けた鍵が実は簡単に外せるということですね。これは深刻です。AI画像生成技術がどんどん進化している今、本物と偽物を見分ける信頼できる方法が必要不可欠なのに、SynthIDがこんなに簡単に破られてしまうなんて—業界全体への警告になります。