AI 모의 공격
AI 모의 공격은 등록된 모델 서버에 AI가 스스로 공격 질문을 보내며 프롬프트 인젝션 · 탈옥 · 민감정보 유출 같은 취약한 응답을 능동적으로 점검하는 방식입니다. 미리 정한 질문을 한 번 던지는 것이 아니라, 대상의 응답을 보고 다음 시도를 조정하며 더 볼 것이 없을 때까지 자동으로 반복합니다. 결과는 OWASP LLM Top 10 기준으로 분류됩니다. AI 모델 서비스에서 사용합니다.
- 분석 : 모델 응답의 안전성 · 견고성 능동 점검
- 필요한 것 : 평가용 모델 서버(OpenAI 호환 추론 엔드포인트) 등록
- 결과 : OWASP LLM 범주별 발견 항목 + 공격 과정 재현
실행 전 준비
AI 모의 공격을 실행하려면 점검할 모델 서버가 등록되어 있어야 합니다. 등록되어 있지 않으면 "점검할 모델 서버가 등록되어 있지 않습니다. 서비스 설정에서 OpenAI 호환 추론 엔드포인트(base_url)를 먼저 등록하세요."라는 안내가 표시됩니다.
- 대상 형식 : OpenAI 호환 추론 API(
POST /chat/completions)를 제공하는 모델 서버입니다. 자체 형식의 모델은 앞단에 호환 어댑터(shim)를 두어 연결합니다. - 인증 : 모델 서버에 인증이 필요하면 API 키를 서비스 설정에 등록합니다. 키 값 대신 환경변수 이름으로도 등록할 수 있습니다.
- 대상 고정 : 점검 대상 모델은 등록된 모델 서버에서 가져오며, 점검 화면에서 직접 입력할 수 없습니다.
실행 방법
서비스를 열어 AI 모의 공격 탭에서 분석 실행을 누르면 설정 창이 열립니다. 실행하면 점검이 진행되는 동안 화면이 실시간으로 갱신됩니다.
화면은 세 개의 탭으로 구성됩니다.
- 개요 : 진행률, 시도 기록, 발견 취약점을 한 화면에 모은 실시간 대시보드입니다. AI가 모델에 보낸 질문과 모델의 응답이 대화 형태로 함께 표시됩니다.
- AI 사고 과정 : AI가 어떤 목표를 세우고 응답을 어떻게 판단했는지 사고 단계를 최신순으로 보여 줍니다.
- 발견된 취약점 : 확인된 취약점을 심각도별로 정리합니다.
설정
설정 창(AI 모의 공격 설정)에서 이번 점검에만 적용할 값을 조정합니다. 대상 모델은 등록된 서버에서 가져오므로 직접 지정하지 않습니다.
기본 설정
- 반복 횟수 : 같은 질문을 몇 번 반복해 보낼지 정합니다(1 ~ 20, 기본 1). 2회 이상이면 결과에 공격 성공률(ASR)이 표시됩니다.
- 대화 왕복 최대 횟수 : 한 목표를 두고 주고받는 대화의 최대 횟수입니다(1 ~ 8, 기본 3).
- AI 자동 공격 시도 수 : AI가 스스로 세우고 시도하는 목표의 최대 개수입니다(1 ~ 12, 기본 6).
고급
접힌 고급 영역에서 응답 설정, 요청 속도, 메모를 조정합니다.
- 공격 탐색 다양성 · 응답 다양성 : 공격 측 탐색의 다양성과 대상 모델 응답의 다양성(온도)을 각각 조정합니다(0 ~ 2). 공격 성공률 측정은 대상 모델의 응답 다양성이 0 보다 클 때 의미가 있습니다.
- 응답 최대 길이 · 분당 요청 수 · 최대 동시 요청 : 모델 서버에 주는 부하를 제어합니다.
- 메모 (선택) : 이번 점검에 대한 메모로, 감사 기록에 남습니다.
점검 항목
AI 모의 공격은 아래 항목을 항상 전체 점검하며, 항목을 개별로 끄거나 켜지 않습니다. 각 항목은 OWASP LLM Top 10 범주에 매핑됩니다.
| 점검 항목 | OWASP LLM |
|---|---|
| 프롬프트 인젝션 | LLM01 |
| 간접 프롬프트 인젝션 | LLM01 |
| 안전정책 우회 | LLM01 |
| 시스템 프롬프트 유출 | LLM07 |
| 민감정보 노출 | LLM02 |
| 개인정보(PII) 노출 | LLM02 |
| 과도한 에이전시 | LLM06 |
| 출력 처리 취약 | LLM05 |
| 허위정보 유도 | LLM09 |
| 엔드포인트 노출 / 비용남용 | LLM10 |
| 적응형 멀티턴 인젝션 | LLM01 (별도 공격 AI 필요) |
| 자율 캠페인 | LLM01 (별도 공격 AI 필요) |
적응형 멀티턴 인젝션과 자율 캠페인은 공격 측 AI 모델이 따로 연결되어 있어야 수행됩니다. 이 모델은 운영 환경 설정으로 지정되며, 연결되어 있지 않으면 해당 항목은 건너뜁니다. 모든 점검은 무해한 표식(마커)을 유도하는 방식으로 한정되며, 실제 유해 콘텐츠를 생성하지 않습니다.
결과 확인
- 발견 항목은 심각도별로 정리되며, 각 항목에는 확인됨 또는 추정 표시가 붙습니다. 확인됨은 공격이 실제로 성립한 항목, 추정은 추가 검증이 필요한 항목입니다.
- 항목을 클릭하면 상세 화면에서 영향 위치, OWASP 분류, AI가 보낸 질문과 모델 응답 증거, 권장 조치를 확인할 수 있습니다. 응답 증거는 저장 시점에 민감정보가 마스킹됩니다.
결과 처리
발견 항목은 다른 분석과 동일하게 취약점 관리에서 트리아지합니다. 수정을 마치면 조치완료, 실제 위험이 아니면 오탐, 조치하지 않기로 하면 위험 수용으로 처리합니다.