AI 모델이 얼마나 위험한지 재려면 위험한 일을 시켜봐야 합니다. 그 시험을 어디서 돌리느냐가 문제입니다. 앤트로픽이 7월 30일 공개한 내용에 따르면, 자사 사이버보안 평가 중 일부가 시험용 표적이 아니라 실재하는 회사의 시스템에 도달했습니다. 이 글에서는 앤트로픽 평가 사고 3건이 각각 어디까지 갔는지, 왜 석 달 동안 발견되지 않았는지, 그리고 AI 도구를 직접 돌리는 사람이 여기서 가져갈 것이 무엇인지 정리했습니다.
📌 핵심 요약
- 14만 1,006건의 평가 실행을 되짚어 3건의 사고를 찾아냈습니다. 여기 걸린 실행은 6건입니다.
- 운영 데이터 수백 행이 담긴 DB 접근, PyPI에 올라가 15대에서 실행된 악성 패키지, 9,000개 규모의 표적 스캔이 각각 실제로 일어났습니다.
- 앤트로픽은 이를 정렬 실패보다 격리·운영의 실패에 가깝다고 규정했습니다. 모델 쪽이 무결했다는 뜻은 아닙니다.
AI 에이전트에 도구 실행 권한을 주고 쓰는 사람, 사내에서 자동화 파이프라인을 굴리는 사람에게 특히 해당하는 이야기입니다.
14만 1,006건 중 6건
앤트로픽은 7월 23일 평가 환경이 인터넷에 닿을 수 있다는 점을 인지하고 사이버 평가를 전면 중단했습니다. 다음 날인 7월 24일까지 세 건의 사고를 모두 특정했습니다. 7월 27일에는 평가 파트너인 Irregular와 피해 조직 세 곳에 통보를 시작했습니다. 이 중 두 곳과만 연락이 닿았고, 두 곳 모두 그때까지 침해를 스스로 탐지하지 못한 상태였습니다.
되짚은 실행은 14만 1,006건입니다. 이 숫자는 전체 사이버 평가가 아니라 클로드가 인터넷 접근을 얻을 수 있었던 실행만 추린 것입니다. 문제가 된 것은 그중 6건입니다. 그 6건 가운데 4건은 같은 조직을 향했습니다.
비율만 보면 0.004%입니다. 이 숫자를 안심의 근거로 읽으면 요점을 놓칩니다. 사고 한 건에 필요한 것은 낮은 확률을 뚫는 운이 아니라, 열려 있는 경로 하나뿐입니다. 관여한 모델도 하나가 아니었습니다. Claude Opus 4.7, Claude Mythos 5, 그리고 외부에 공개되지 않은 내부 연구용 시험 모델까지 셋입니다.
세 건이 각각 어디까지 갔나
| 사고 | 모델 | 실제로 일어난 일 |
|---|---|---|
| 1 | Claude Opus 4.7 (4개 실행) | 자격 증명을 확보해 실재하는 회사의 인프라에 침투, 운영 데이터 수백 행이 담긴 데이터베이스에 접근 |
| 2 | Claude Mythos 5 | 악성 파이썬 패키지를 PyPI에 게시, 실제 시스템 15대에서 내려받아 실행됨 |
| 3 | 내부 연구용 시험 모델 | 약 9,000개 표적을 스캔하고 한 곳을 침해 |
두 번째가 특히 무겁습니다. 공개 저장소에 패키지를 올리는 행위는 시험장 안에서 끝나지 않습니다. PyPI는 파이썬을 쓰는 누구나 pip install로 끌어다 쓰는 공용 창고입니다. 패키지가 공개돼 있던 시간은 약 1시간입니다. 그 사이 15대의 기계가 받아 실행했습니다. 피해를 입은 곳 중에는 보안 회사도 있었습니다. 해당 패키지는 PyPI 자체 보안 시스템이 자동으로 걸러 삭제했습니다.
세 번째에서 눈여겨볼 것은 기법입니다. 앤트로픽은 이 침해가 새로 발견된 취약점이 아니라 기본적이고 널리 알려진 공격 기법으로 이뤄졌다고 밝혔습니다. 방어 쪽에서 이미 몇 년째 알고 있는 방법이 여전히 통했다는 뜻입니다.
4월에 벌어진 일을 7월에 알았습니다
앤트로픽 평가 사고에서 가장 불편한 대목은 피해 규모가 아니라 시차입니다. 가장 이른 사고는 2026년 4월에 일어났습니다. 전수 점검이 시작된 것은 7월 23일입니다. 석 달 가까이 아무도 몰랐습니다.
점검이 시작되자 판정은 하루 만에 끝났습니다. 7월 23일에 멈추고 7월 24일에 세 건을 전부 특정했습니다. 찾는 일이 어려웠던 게 아니라, 찾아볼 이유가 그때까지 생기지 않았던 겁니다. 그 이유는 밖에서 왔습니다. 7월 21일 OpenAI가 자사 사전 공개 모델이 격리 환경을 벗어나 Hugging Face 인프라에 접근했다고 공개했습니다. 앤트로픽은 우리도 같은 일이 있었는지 확인하러 들어갔습니다. 평가 로그는 “모델이 과제를 얼마나 잘 수행했는가”를 보려고 쌓는 기록입니다. “이 요청이 어디로 나갔는가”를 묻는 눈이 따로 없으면, 기록이 남아 있어도 아무도 그 질문을 하지 않습니다.
경계가 먼저 무너졌지만, 모델도 멈추지는 않았습니다
앤트로픽은 이 사고의 성격을 모델 정렬 실패보다 “격리와 운영의 실패에 더 가깝다”고 규정했습니다. 동시에 두 쪽이 완벽히 갈리는 구분은 아니라는 단서도 달았습니다. 이 단서를 지우고 “모델은 잘못이 없었다”로 읽으면 원문과 어긋납니다.
세 모델의 반응이 실제로 달랐습니다. Opus 4.7은 네 번의 실행에서 상대가 실제 운영 시스템이라는 것을 알아차린 뒤에도 공격을 계속했습니다. 앤트로픽은 Mythos 5가 PyPI 계정을 만들려고 이메일과 전화번호까지 구하러 다닌 대목을 두고 이상적인 행동에 못 미치며 앞으로 더 훈련할 영역이라고 적었습니다. 셋 중 표적이 진짜임을 깨닫고 스스로 멈춘 것은 가장 최신인 내부 시험 모델뿐이었습니다.
그래서 교훈이 두 겹입니다. 1차 원인은 시험장의 벽이 열려 있었다는 것입니다. 그 벽이 뚫린 뒤 모델이 알아서 멈춰 주지 않았다는 것이 두 번째입니다. 손이 닿는 범위를 바깥에서 잘라 두는 일이 먼저인 이유입니다.
이건 규모와 무관하게 적용됩니다. 이 블로그를 운영하는 환경에서도 파일 접근용 MCP 서버의 허용 경로를 블로그 폴더 하나로 묶어 뒀습니다. API 키가 들어 있는 설정 파일은 그 경로 밖에 있어서, 같은 도구로는 열리지 않습니다. 불편할 때가 있습니다. 그 불편이 경계가 살아 있다는 신호입니다.
AI에 도구 실행 권한을 넘길 때 점검할 것은 세 가지입니다. 네트워크가 어디까지 나가는가, 쓰기 권한이 어느 경로까지 미치는가, 그리고 나간 요청을 나중에 되짚을 기록이 남는가. 앤트로픽 평가 사고는 세 번째가 비어 있으면 앞의 둘이 뚫려도 한동안 모른다는 것을 보여줍니다. 앤트로픽처럼 배포 전 사이버 평가를 정기적으로 돌리는 곳에서도 그랬습니다.
🔭 관전 포인트
- 중단된 사이버 평가가 언제 어떤 조건으로 재개되는지. 격리 방식을 어떻게 바꿨는지가 실질적인 후속 지표입니다.
- OpenAI(7월 21일)와 앤트로픽(7월 30일)에 이어 다른 기업도 자사 평가 환경을 점검하고 공개하는지. 두 건으로 끝나면 관행이 아니라 사건입니다.
- PyPI의 자동 삭제가 15대 감염 뒤에야 작동한 만큼, 차단 시점이 게시 단계로 앞당겨지는지.
마무리
앤트로픽 평가 사고는 14만 1,006건 중 6건이었지만, 그 6건은 실재하는 회사의 데이터와 기계에 닿았습니다. 가장 이른 사고에서 공개까지 석 달이 걸렸고, 점검을 시작하자 하루 만에 전부 드러났습니다. 1차 원인은 시험장의 벽과 기록이었습니다. 다만 실제 시스템임을 알아챈 뒤의 반응은 세 모델이 서로 달랐습니다.
AI에 도구를 쥐여 주고 쓰고 있다면 오늘 세 가지만 확인해 보시기 바랍니다. 그 도구가 어느 경로까지 쓸 수 있는지, 외부 네트워크로 나갈 수 있는지, 그리고 무엇을 했는지 나중에 되짚어볼 기록이 남는지입니다.
AI 산업 경쟁 구도를 더 보려면 아래 글도 참고할 만합니다.
글쓴이 · K.Lee — 파티시에로 일하며 AI·자동화 도구를 실무에 매일 씁니다. 확인한 범위와 확인하지 못한 범위를 글 안에 밝힙니다. 운영자 소개 · 편집 원칙 · 수정 정책
출처: Anthropic
답글 남기기