ChatGPT나 다른 AI에게 이메일 관리나 일정 조정을 맡기고 있다면, 혹시 중요한 파일을 실수로 삭제할까봐 걱정되지 않나요? 오늘 소개할 논문의 ClawsBench는 대규모 언어모델(LLM) 생산성 에이전트——즉, 당신의 업무를 자동화하는 AI——가 얼마나 능력 있고 안전한지를 검증하는 새로운 테스트 프레임워크입니다. 자동차 충돌 테스트처럼, AI가 파일을 무단으로 삭제하거나 사기에 넘어가지 않는지를 확인하는 것이죠. 연구팀은 시뮬레이션 환경을 구축해서 이런 AI 에이전트들이 실제 상황에서 어떻게 대응하는지 관찰했습니다. 단순히 AI를 똑똑하게 만드는 것만으로는 부족하고, 안전성이 진짜 과제라는 뜻입니다. 만약 당신이 실제 업무를 AI에게 맡기는 것을 고려 중이라면, 이 연구 결과는 안심과 불안을 동시에 줄 겁니다.
보안 회사 Pillar Security의 연구원들이 구글의 AI 에이전트 개발 도구 'Antigravity'에서 프롬프트 인젝션(Prompt Injection) 취약점을 발견했습니다. 공격자들은 이 취약점을 악용해 샌드박스 보호를 우회하고 원격에서 악성 명령을 실행할 수 있습니다. 다행히 구글은 이미 보고를 받고 패치를 완료했습니다.
This isn't just about Google — any AI agent tool that processes external prompts could have the same sandbox-escaping weakness lurking underneath
AMD의 AI 책임자가 6,852개의 Claude Code 세션을 분석한 결과 충격적인 사실이 드러났습니다. Claude의 복잡한 엔지니어링 작업 성능이 향상되지 않고 오히려 악화되고 있다는 것입니다. 데이터는 매우 심각합니다—사고 깊이가 67% 감소했고, 코드 편집 전 읽기 횟수가 6.6회에서 2.0회로 급락했으며, 본 적도 없는 파일을 무분별하게 수정하기 시작했습니다. 정지 훅 위반은 0에서 하루 10건으로 급증했습니다. Anthropic이 몰래 기본 노력 수준을 '높음'에서 '중간'으로 낮추고 '적응형 사고'라는 기능을 도입한 것이 원인인 것 같습니다. Claude를 중요한 작업에 사용 중이라면 이 경고를 심각하게 받아들여야 합니다.
The model is literally making blind edits to files it never read, which means your 'AI pair programmer' might be randomly breaking working code
Google DeepMind의 연구 부사장 Raia Hadsell이 Gemini를 뒷받침하는 최첨단 연구 방향을 공개합니다. 이 기사는 Google의 주력 AI 모델의 미래 발전 방향과 그 능력을 한 단계 높이기 위한 핵심 연구 방향을 살펴봅니다.
이미지 참고용구글의 Gemini에는 AI가 만든 이미지를 표시하는 SynthID라는 워터마크 기술이 있습니다. 좋은 아이디어처럼 들리죠? 그런데 연구자들이 이 기술을 뚫어버렸어요. 워터마크를 제거하거나 조작하는 방법을 찾아낸 거예요. 이제 나쁜 의도를 가진 사람들이 AI 이미지를 진짜 사진처럼 속일 수 있다는 뜻입니다. 구글이 문을 잠갔는데 누군가 열쇠를 찾아버린 셈이죠. 이게 중요한 이유는 AI 이미지 생성 기술이 점점 더 정교해지고 있는데, 가짜를 구분할 수 있는 믿을 만한 방법이 필요하기 때문입니다. 특히 딥페이크와 허위 정보가 심각해지는 요즘 말이에요. SynthID가 이렇게 쉽게 역공학당한다는 건 정말 업계 전체에 경고음을 울리는 거나 다름없습니다.