AI 에이전트를 사내에 들이는 팀이 늘면서, 이 에이전트가 도구를 잘못 호출하거나 프롬프트 인젝션에 넘어가지 않도록 막을 방법이 마땅치 않다는 고민도 함께 커지고 있습니다. 중국 앤트그룹(Ant Group) AI 보안 연구소가 2026년 7월 13일, 자율 AI 에이전트를 겨냥한 보안 가드레일 모델 ‘SingGuard-NSFA’를 오픈소스로 공개하며 이 고민에 답을 내놨습니다. AI 에이전트 보안의 초점을 ‘무슨 말을 하는가’에서 ‘무슨 행동을 하는가’로 옮긴 시도입니다.
📌 핵심 요약
- 앤트그룹 AI 보안 연구소가 2026년 7월 13일 에이전트 전용 보안 가드레일 ‘SingGuard-NSFA’를 오픈소스로 공개
- 에이전트가 도구를 호출하거나 코드를 실행하기 ‘전에’ 실시간으로 위험을 검사하는 행위(behavioral) 계층 보안에 초점
- 같은 팀의 멀티모달 가드레일 ‘SingGuard’도 함께 공개, 재학습 없이 런타임에 보안 규칙을 바꿀 수 있음
이 글은 이런 분께 추천합니다: 사내에서 AI 에이전트를 도입·운영하는 팀, AI 보안·리스크 관리 담당자, 오픈소스 가드레일 도입을 검토하는 개발자
① 사건 핵심 사실관계 정리
SingGuard-NSFA는 텍스트를 생성하는 데 그치는 모델이 아니라, 스스로 계획을 세우고 도구를 호출하며 작업을 실행하는 ‘에이전틱 AI’를 겨냥해 만들어졌습니다. 에이전트가 행동을 실행하기 전에 실시간으로 요청을 검사해 위험하면 차단하고, 이미 나온 응답도 한 번 더 점검하는 이중 구조(query-first, response-as-backstop)를 갖췄습니다.
이 모델이 잡아내려는 것은 프롬프트 인젝션, 민감정보 탈취, 악성 코드 실행 요청, 자원 고갈을 노린 남용, 도구·권한 오남용 같은 ‘행위’ 계층의 위협입니다. 기존 콘텐츠 심사 가드레일은 텍스트에 유해한 표현이 있는지만 걸러내도록 설계돼 있어, 에이전트가 어떤 도구를 어떻게 호출하는지까지는 판단하지 못합니다. AI 에이전트 보안이 콘텐츠 심사와 별개의 문제로 다뤄져야 하는 이유가 여기에 있습니다.
② 위협 분류 체계와 두 가지 작동 모드
SingGuard-NSFA의 위협 분류(NSFA 택소노미)는 기밀성·무결성·가용성(CIA) 원칙을 뼈대로 삼고, OWASP 계열 국제 보안 가이드라인 3종과 교차 검증했습니다. 이를 바탕으로 7개 대분류, 28개 중분류, 185개 구체 시나리오까지 위협을 세분화했습니다. 평가 체계는 133개 언어에 걸쳐 자체 제작 샘플 약 9만 3천 건과 교차 소스 샘플 3,435건, 총 9만 6천여 건 규모로 구축됐습니다.
작동 방식은 두 가지입니다. 하나는 위험을 한 줄씩 근거와 함께 풀어내는 상세 분석(생성형 추론) 모드로, 사후 감사나 컴플라이언스 검토에 적합합니다. 다른 하나는 토큰을 생성하지 않고 한 번의 순전파만으로 위험 여부를 판정하는 실시간 분류 모드로, 샘플당 45~57밀리초 안에 끝나 고동시성 환경에서 요청을 즉시 차단하는 데 씁니다.
모델은 0.8B·2B·4B·9B 네 가지 크기로 공개됐습니다. 가장 작은 0.8B 모델도 자체 벤치마크에서 F1 94% 이상을 기록하며 경쟁 가드레일 모델들을 6~12점 앞섰다고 앤트그룹은 밝혔습니다. 가장 큰 9B 모델까지도 앞서 언급한 45~57밀리초 안에 실시간 판정이 가능해, 모델 크기를 키워도 지연 시간 부담이 크게 늘지 않는 구조입니다.
③ 함께 공개된 멀티모달 가드레일 SingGuard
같은 팀은 SingGuard-NSFA와 함께 멀티모달 보안 가드레일 ‘SingGuard’의 상세 정보도 공개했습니다. SingGuard는 텍스트, 이미지, 텍스트와 이미지가 결합된 크로스모달 콘텐츠에 하나의 기준으로 안전 여부를 판단합니다. 특히 안전 정책을 모델 학습 시점에 고정하지 않고, 배포 시점에 자연어로 된 보안 규칙을 런타임에 그대로 입력값으로 넘겨 판단 기준을 바꿀 수 있다는 점이 특징입니다. 정책이 바뀔 때마다 모델을 다시 학습시킬 필요가 없다는 뜻입니다.
앤트그룹은 SingGuard가 6개 벤치마크 계열, 총 35개 데이터셋에 걸친 평가에서 평균 F1 기준 최고 성능을 기록했다고 밝혔습니다. 비교 대상에는 메타 라마 가드 3(Llama Guard 3), 구글 실드제마(ShieldGemma) 같은 기존 가드레일뿐 아니라 GPT-5.1, 제미나이 3 프로(Gemini 3 Pro) 같은 범용 모델도 포함됐다고 설명했습니다. 다만 이 비교 수치는 앤트그룹이 자체 발표한 내용으로, 독립적인 제3자 재현 검증은 아직 확인되지 않았습니다.
④ 실무자가 지금 점검해야 할 포인트
AI 에이전트가 ‘질문에 답하기’에서 ‘스스로 일 처리하기’로 넘어가면서, 보안의 무게중심도 콘텐츠에서 행위로 옮겨가고 있습니다. 사내에서 AI 에이전트를 도입·운영하는 팀이라면, 에이전트가 도구를 호출하거나 코드를 실행하기 직전에 위험을 걸러내는 행위 계층 보안을 지금 쓰는 보안 스택에 넣어야 할지 점검할 시점입니다. 콘텐츠 필터만으로는 프롬프트 인젝션이나 권한 오남용 같은 시나리오를 놓칠 수 있다는 점이 이번 공개의 핵심 메시지입니다.
SingGuard-NSFA와 SingGuard 모두 오픈소스로 풀렸다는 점도 실무적으로 의미가 있습니다. 사내 파일럿 단계에서 상용 가드레일 서비스에 곧바로 비용을 들이기 전에, 자체 인프라에 직접 올려 성능과 지연 시간을 검증해볼 수 있다는 뜻입니다. 다만 실시간 차단 모드를 실제 서비스에 붙이려면 오탐(false positive)이 정상 업무 흐름을 막지 않는지 별도로 검증하는 과정이 필요합니다.
🔭 관전 포인트
- SingGuard-NSFA·SingGuard의 성능 우위 수치가 앤트그룹 외부의 독립 벤치마크에서도 재현되는지
- 메타·구글·OpenAI 등 경쟁 진영이 에이전트 행위 계층을 겨냥한 가드레일을 별도로 내놓을지
- 오픈소스 공개 이후 실제 기업 환경에 SingGuard-NSFA를 도입한 사례가 나오는지
마무리
앤트그룹은 에이전트가 행동을 실행하기 전에 실시간으로 위험을 걸러내는 AI 에이전트 보안 가드레일 SingGuard-NSFA를 오픈소스로 공개했습니다. CIA 원칙과 OWASP 가이드라인을 뼈대로 185개 시나리오까지 위협을 세분화했고, 0.8B부터 9B까지 네 가지 모델 크기로 상세 분석 모드와 45~57밀리초 실시간 판정 모드를 모두 지원합니다. 함께 공개된 멀티모달 가드레일 SingGuard까지 감안하면, 에이전트를 도입한 조직이라면 지금이 행위 계층 보안을 스택에 추가할지 검토해볼 시점입니다.
AI 산업 경쟁 구도를 더 보려면 아래 글도 참고할 만합니다.
글쓴이 · K.Lee — 파티시에로 일하며 AI·자동화 도구를 실무에 매일 씁니다. 확인한 범위와 확인하지 못한 범위를 글 안에 밝힙니다. 운영자 소개 · 편집 원칙 · 수정 정책
답글 남기기