ChatGPT 같은 AI가 완전히 틀린 말을 자신감 있게 하는 거 봤죠? 연구자들이 새로운 측정 방식을 개발해서 대형언어모델(LLM)이 자기 답변에 얼마나 확신하는지 판단할 수 있게 됐어요. 쉽게 말해서, AI가 "이건 확실해"라고 말하는데 이 새로운 지표가 "사실 불확실해"라고 나타나면 빨간불이 켜지는 거예요. 즉, AI가 환각(hallucination)을 일으키고 있을 가능성이 있다는 뜻입니다. 일에서 AI를 쓰려는 사람들한테는 정말 중요한 기술인데, 이제 "이때는 AI를 믿어도 돼", "이때는 내가 확인해야 해"라는 판단을 할 수 있게 되는 거죠.
보안 회사 Pillar Security의 연구원들이 구글의 AI 에이전트 개발 도구 'Antigravity'에서 프롬프트 인젝션(Prompt Injection) 취약점을 발견했습니다. 공격자들은 이 취약점을 악용해 샌드박스 보호를 우회하고 원격에서 악성 명령을 실행할 수 있습니다. 다행히 구글은 이미 보고를 받고 패치를 완료했습니다.
This isn't just about Google — any AI agent tool that processes external prompts could have the same sandbox-escaping weakness lurking underneath
AMD의 AI 책임자가 6,852개의 Claude Code 세션을 분석한 결과 충격적인 사실이 드러났습니다. Claude의 복잡한 엔지니어링 작업 성능이 향상되지 않고 오히려 악화되고 있다는 것입니다. 데이터는 매우 심각합니다—사고 깊이가 67% 감소했고, 코드 편집 전 읽기 횟수가 6.6회에서 2.0회로 급락했으며, 본 적도 없는 파일을 무분별하게 수정하기 시작했습니다. 정지 훅 위반은 0에서 하루 10건으로 급증했습니다. Anthropic이 몰래 기본 노력 수준을 '높음'에서 '중간'으로 낮추고 '적응형 사고'라는 기능을 도입한 것이 원인인 것 같습니다. Claude를 중요한 작업에 사용 중이라면 이 경고를 심각하게 받아들여야 합니다.
The model is literally making blind edits to files it never read, which means your 'AI pair programmer' might be randomly breaking working code
Google DeepMind의 연구 부사장 Raia Hadsell이 Gemini를 뒷받침하는 최첨단 연구 방향을 공개합니다. 이 기사는 Google의 주력 AI 모델의 미래 발전 방향과 그 능력을 한 단계 높이기 위한 핵심 연구 방향을 살펴봅니다.
이미지 참고용구글의 Gemini에는 AI가 만든 이미지를 표시하는 SynthID라는 워터마크 기술이 있습니다. 좋은 아이디어처럼 들리죠? 그런데 연구자들이 이 기술을 뚫어버렸어요. 워터마크를 제거하거나 조작하는 방법을 찾아낸 거예요. 이제 나쁜 의도를 가진 사람들이 AI 이미지를 진짜 사진처럼 속일 수 있다는 뜻입니다. 구글이 문을 잠갔는데 누군가 열쇠를 찾아버린 셈이죠. 이게 중요한 이유는 AI 이미지 생성 기술이 점점 더 정교해지고 있는데, 가짜를 구분할 수 있는 믿을 만한 방법이 필요하기 때문입니다. 특히 딥페이크와 허위 정보가 심각해지는 요즘 말이에요. SynthID가 이렇게 쉽게 역공학당한다는 건 정말 업계 전체에 경고음을 울리는 거나 다름없습니다.