ChatGPT가 누군가의 교활한 프롬프트에 속아서 당신이 요청하지 않은 일을 할까봐 걱정한 적 있나요? 연구자들이 AI 모델을 이런 공격으로부터 보호하는 방법을 찾아냈어요. IH-Challenge라고 불리는 이 기술은 기본적으로 신뢰할 수 있는 지시를 우선시하고 악의적인 프롬프트 주입을 무시하도록 AI를 훈련시킵니다. 마치 당신의 AI 어시스턴트에게 누군가 속이려는 건지, 아니면 정당한 요청인지 구분하는 법을 가르치는 것처럼요. 결과적으로 조작하기 어렵고, 더 안전하며, 당신이 실제로 원하는 일을 제대로 수행하는 모델이 탄생합니다. AI가 점점 더 강력해질수록 올바른 지시를 따르도록 하는 것이 중요해지니까, 이건 정말 중요한 발전입니다.
보안 회사 Pillar Security의 연구원들이 구글의 AI 에이전트 개발 도구 'Antigravity'에서 프롬프트 인젝션(Prompt Injection) 취약점을 발견했습니다. 공격자들은 이 취약점을 악용해 샌드박스 보호를 우회하고 원격에서 악성 명령을 실행할 수 있습니다. 다행히 구글은 이미 보고를 받고 패치를 완료했습니다.
This isn't just about Google — any AI agent tool that processes external prompts could have the same sandbox-escaping weakness lurking underneath
AMD의 AI 책임자가 6,852개의 Claude Code 세션을 분석한 결과 충격적인 사실이 드러났습니다. Claude의 복잡한 엔지니어링 작업 성능이 향상되지 않고 오히려 악화되고 있다는 것입니다. 데이터는 매우 심각합니다—사고 깊이가 67% 감소했고, 코드 편집 전 읽기 횟수가 6.6회에서 2.0회로 급락했으며, 본 적도 없는 파일을 무분별하게 수정하기 시작했습니다. 정지 훅 위반은 0에서 하루 10건으로 급증했습니다. Anthropic이 몰래 기본 노력 수준을 '높음'에서 '중간'으로 낮추고 '적응형 사고'라는 기능을 도입한 것이 원인인 것 같습니다. Claude를 중요한 작업에 사용 중이라면 이 경고를 심각하게 받아들여야 합니다.
The model is literally making blind edits to files it never read, which means your 'AI pair programmer' might be randomly breaking working code
Google DeepMind의 연구 부사장 Raia Hadsell이 Gemini를 뒷받침하는 최첨단 연구 방향을 공개합니다. 이 기사는 Google의 주력 AI 모델의 미래 발전 방향과 그 능력을 한 단계 높이기 위한 핵심 연구 방향을 살펴봅니다.
이미지 참고용구글의 Gemini에는 AI가 만든 이미지를 표시하는 SynthID라는 워터마크 기술이 있습니다. 좋은 아이디어처럼 들리죠? 그런데 연구자들이 이 기술을 뚫어버렸어요. 워터마크를 제거하거나 조작하는 방법을 찾아낸 거예요. 이제 나쁜 의도를 가진 사람들이 AI 이미지를 진짜 사진처럼 속일 수 있다는 뜻입니다. 구글이 문을 잠갔는데 누군가 열쇠를 찾아버린 셈이죠. 이게 중요한 이유는 AI 이미지 생성 기술이 점점 더 정교해지고 있는데, 가짜를 구분할 수 있는 믿을 만한 방법이 필요하기 때문입니다. 특히 딥페이크와 허위 정보가 심각해지는 요즘 말이에요. SynthID가 이렇게 쉽게 역공학당한다는 건 정말 업계 전체에 경고음을 울리는 거나 다름없습니다.