KISA 생성형 AI 보안 가이드 완벽 정리(2025년 최신판)
생성형 AI 시대, 보안 가이드라인을 제대로 이해하고 계신가요?
2022년 ChatGPT 출시 이후, 생성형 AI는 우리 일상과 업무에 깊숙이 자리 잡았어요. 단 몇 초 만에 보고서를 작성하고, 복잡한 코드를 생성하며, 방대한 자료를 요약해주는 이 놀라운 기술은 생산성 혁명을 가져왔습니다.
하지만 빛이 있으면 그림자도 있는 법이죠. 2023년 3월, 삼성전자에서 직원들이 ChatGPT에 반도체 설비 소스 코드와 회의 내용을 입력했다가 기업 기밀이 유출되는 사고가 발생했어요. 이 사건은 생성형 AI의 편리함이 오히려 치명적인 보안 위협이 될 수 있음을 생생하게 보여줬습니다.
이러한 위험을 예방하고자 개인정보보호위원회, 한국인터넷진흥원(KISA), 국가정보원(국정원), 금융위원회 등 주요 기관들이 생성형 AI 보안 가이드라인을 속속 발표했어요. 하지만 여러 기관의 가이드라인이 혼재되어 있어, "도대체 나는 이 가이드라인을 따라야 하는 사람인가?"라는 혼란이 생기기 마련입니다.
이 글에서는 KISA와 국정원의 공식 가이드라인이 누구를 대상으로 하는지, 각 대상자가 무엇을 지켜야 하는지, 어떻게 실천해야 하는지를 명확하게 정리해드릴게요.
이 가이드라인은 '누구'를 위한 것일까?
많은 분들이 "KISA 생성형 AI 가이드라인"이라고 하면 막연하게 "AI 쓰는 모든 사람"을 떠올리지만, 실제로는 명확한 타겟 구분이 있어요. 자신이 어느 타겟에 속하는지 정확히 파악하는 것이 첫 번째 단계입니다.
KISA 안내서의 적용 대상
KISA의 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서(2025.8)」는 다음과 같이 명시하고 있어요:
"본 안내서는 생성형 AI를 개발․활용하면서 개인정보를 처리하는 기업․기관 등이 참고할 수 있도록 마련되었습니다.
예를 들어, ▲LLM을 개발하고 제공하는 모델 개발자 및 ▲모델을 이용해 AI 서비스를 개발․제공하는 모델 이용자 등이 본 안내서를 참고하여 생성형 AI 수명주기 단계별 개인정보 보호 사항을 검토할 수 있습니다."「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서(2025.8)」 8p
타겟 1: 모델 개발자
이런 조직이 해당돼요:
자체 LLM(대규모 언어모델)을 개발하는 AI 스타트업
GPT, Claude, Gemini 같은 파운데이션 모델을 개발·제공하는 기업
특정 도메인(의료, 법률, 금융 등)에 특화된 AI 모델을 자체 개발하는 기관
핵심 책임:
개인정보 처리 목적 구체화 및 법적 근거 마련
PbD(Privacy by Design) 기반 개발 수행
개인정보 영향평가 실시 (공공기관 의무, 민간 권장)
학습 데이터의 가명·익명 처리
모델 미세조정·정렬을 통한 안전성 강화
CPO(개인정보보호책임자) 중심의 내부 관리체계 구축
타겟 2: 모델 이용자
이런 조직이 해당돼요:
OpenAI와 같은 기업으로부터 API를 연계해 자사 서비스를 개발하는 기업
오픈소스 LLM(예: LLaMA, Mistral)을 다운로드해 파인튜닝하는 조직
ChatGPT Enterprise 같은 상용 모델을 도입해 내부 시스템에 통합하는 기업
핵심 책임:
이용자 개인정보를 AI 학습에 활용할 법적 근거 검토
외부 LLM의 데이터 처리 범위·보관·재이용(학습 포함) 통제
훈련 데이터 출처 검증 노력
시스템 안전조치 적용 (접근 제어, 입출력 필터 등)
정보주체 권리 요청 대응 체계 마련
개인정보 처리방침 등 투명성 확보
타겟 3: 실무 담당자
이런 분들이 해당돼요:
개인정보 보호 컴플라이언스 담당자
정보보안 담당자 (CISO, 보안팀)
리스크 관리 담당자
데이터 거버넌스 담당자
핵심 책임:
AI 수명주기 전 단계에서 개인정보 보호 사항 점검
프라이버시 리스크 식별·평가·관리
내부 정책 수립 및 교육 시행
정보주체 권리행사 지원
국정원 가이드라인의 적용 대상
국정원의 「챗GPT 등 생성형 AI 활용 보안 가이드라인(2023.6)」은 다음과 같이 구분하고 있어요:
"본 장에서는 챗GPT와 같은 대규모 언어모델 등 생성형 AI 기술의 안전한 사용을 위한 기본 지침을 제공하여 각급기관의 정보화·정보보안 담당자들이 보다 효율적이고 안전하게 서비스를 이용하도록 하는데 그 목적이 있다."
타겟 1: 국가·공공기관 (정보화·정보보안 담당자)
이런 조직이 해당돼요:
중앙부처, 지방자치단체, 공공기관
내부 행정 업무에 AI를 도입하려는 기관
대민 서비스(민원, 챗봇 등)에 AI를 활용하려는 기관
핵심 책임:
AI 모델을 기관 내부망에 구축 시 외부망과 철저히 분리 운영
민감·비공개 데이터의 외부 유출 원천 차단
정보등급에 따른 상용 AI 도입 여부 판단
국가 정보보안 기본지침 준수
클라우드 활용 시 보안 가이드라인 준수
타겟 2: 일반 사용자 (개인 또는 기관 임직원)
이런 분들이 해당돼요:
ChatGPT, Claude, Gemini 등을 개인 용도로 사용하는 일반인
기관 내에서 생성형 AI를 사용하는 모든 임직원
업무 효율화를 위해 AI 도구를 활용하는 직장인
핵심 책임:
공식 사이트를 통한 안전한 서비스 접근
개인정보 및 기관 민감정보 입력 금지
계정 보안 강화 (강력한 비밀번호, MFA 설정)
사적 이용과 업무용 이용 계정 분리
AI 생성 결과물의 정확성 재검증
모델 개발자가 지켜야 할 핵심 수칙
KISA 안내서는 생성형 AI 수명주기를 4단계로 나누고, 모델 개발자가 각 단계에서 수행해야 할 개인정보 보호 조치를 구체적으로 제시하고 있어요.
1단계: 목적 설정
왜 중요한가요? 개인정보 보호법 제3조는 "개인정보의 처리 목적을 명확하게 하여야 한다"고 명시하고 있어요. 목적이 불명확하면 이후 모든 개인정보 처리가 위법해질 수 있습니다.
실천 방법:
AI가 사용될 구체적 맥락과 대상을 명확히 정의
개인정보 처리 목적을 최대한 구체화 (예: "챗봇 서비스의 사용자 질문 응답"보다 "금융상품 추천 챗봇의 맞춤형 상담")
공개된 개인정보를 학습에 활용할 경우 정당한 이익(개인정보 보호법 제15조 제1항 제6호) 조항 적용 검토
실제 사례: 2024년 KISA가 실시한 'AI 디지털교과서 사전 실태점검'에서 한 기업은 학생별 학습 데이터를 "통계 목적 또는 향후 AI 기반 학습분석 목적 등"으로 모호하게 명시해 시정권고를 받았어요. 목적을 구체화하지 않으면 규제 대상이 될 수 있습니다.
2단계: 전략 수립
PbD(Privacy by Design) 의무화 개인정보 보호를 사후 조치가 아닌 설계 단계부터 반영해야 해요.
개인정보 영향평가 실시:
공공기관: 의무 실시 대상
민간 기업: 권장 사항 (하지만 고위험 AI는 사실상 필수)
평가 내용: 개인정보 유출 위험, 부적절한 차별 가능성, 정보주체 권리 침해 여부 등
국외 이전 검토: AWS, Azure, GCP 같은 해외 클라우드를 사용한다면 개인정보 국외이전 법적 근거를 반드시 확보해야 해요.
3단계: AI 학습 및 개발
데이터 전처리 필수:
가명처리: 개인 식별 정보 제거 또는 변환
익명처리: 재식별 불가능한 수준으로 비식별화
데이터 오염(Poisoning) 방지: 악의적으로 조작된 학습 데이터 차단
실전 팁: KISA가 발간한 「비정형 데이터 가명처리 기준(2024.2)」을 참고하면 이미지, 영상, 음성 등 비정형 데이터의 가명처리 방법을 구체적으로 확인할 수 있어요.
PET(Privacy Enhancing Technology) 적용:
차등 프라이버시 (Differential Privacy)
연합학습 (Federated Learning)
합성데이터 생성
4단계: 시스템 적용 및 관리
배포 전 필수 점검:
프라이버시 리스크 테스트
프롬프트 인젝션 공격 시뮬레이션
개인정보 유·노출 테스트
AUP(Acceptable Use Policy) 작성·공개: OpenAI의 사용 정책처럼, 금지된 사용 사례(예: 아동 학대 콘텐츠 생성, 불법 활동 조장 등)를 명확히 문서화하고 공개해야 해요.
정보주체 권리 보장:
개인정보 열람·정정·삭제 요청 대응 체계 구축
자동화된 결정에 대한 거부권·설명 요구권 (개인정보 보호법 제37조의2) 보장
모델 이용자가 지켜야 할 핵심 수칙
모델 이용자는 외부 AI 모델을 활용하기 때문에 데이터 통제권 확보가 가장 중요해요.
1. 외부 LLM 데이터 처리 통제
서비스형 LLM 사용 시 필수 점검사항:
점검 항목 | 확인 방법 |
|---|---|
데이터 학습 사용 여부 | API 약관에서 "No Training on Your Data" 조항 확인 |
데이터 보관 기간 | 대화 기록 저장 기간 및 삭제 정책 확인 |
국외 이전 여부 | 데이터 저장 서버 위치 확인 (국내/해외) |
보안 인증 | ISO 27001, SOC 2 등 인증 여부 |
실제 사례: 2025년 KISA가 딥시크(DeepSeek) 서비스를 실태점검한 결과, 중국 서버에 데이터 저장 및 중국 정부의 접근 가능성 때문에 시정권고를 받았어요. 데이터 주권 문제는 이제 선택이 아닌 필수 점검 사항입니다.
2. 처리 위탁 요건 준수
외부 AI 모델 사용은 법적으로 개인정보 처리 위탁에 해당해요.
필수 조치:
문서화된 위탁 계약 체결
위탁 사실을 개인정보 처리방침에 공개
수탁자(AI 제공업체)에 대한 정기 감독
3. 시스템 안전조치 적용
접근 제어 관리:
최소 권한 원칙(PoLP) 준수
사용자 인증 (Amazon Cognito, Auth0 등 활용)
세션 격리 (사용자 간 대화 내용 분리)
입출력 필터링:
Amazon Bedrock Guardrails 같은 도구로 민감정보 자동 탐지·차단
프롬프트 인젝션 방어 시스템 구축
출력 검증 (AI가 생성한 SQL 쿼리, 코드 등 샌드박스에서 실행)
국가·공공기관 담당자가 지켜야 할 특별 수칙
국정원 가이드라인은 국가기관의 특수성을 고려해 망분리 중심의 보안 체계를 강조하고 있어요.
내부 행정 업무 활용 시 (내부망 구축)
"AI 모델을 기관 내부망에 구축하여 각급기관의 행정 업무 등에 활용할 경우 각급 기관의 비공개 데이터를 비롯한 민감 정보가 AI 모델을 통해 처리되기 때문에 신중한 구축 방안 수립이 필요하다. AI 모델을 적용·활용하기 위한 내부 업무 시스템은 인터넷 등 외부망과 분리된 상태로 운영되어야 한다."
필수 조치:
외부망과 100% 물리적 분리
온프레미스(On-premise) 방식으로 자체 구축 또는
정부 클라우드(G-Cloud) 같은 전용 인프라 활용
상용 AI(ChatGPT, Claude 등) 사용 금지
대민 서비스 활용 시 (외부·전용망 구축)
"AI 모델 기반 AI 서비스를 기관망 외부·전용망에 구축하여 대민서비스 및 홈페이지 등 외부 공개 업무에 활용할 경우 AI 모델 학습에 필요한 기관 데이터 유출이 야기될 수 있으므로 충분한 주의가 필요하다."
필수 조치:
학습 데이터에 민감·비공개 정보 포함 금지
외부 AI 서비스 도입 시 데이터 국외이전 검토
정보등급 분류 후 등급에 맞는 보안 조치 적용
일반 사용자(개인·임직원)가 지켜야 할 5대 필수 수칙
국정원 가이드라인은 일반 사용자를 위한 구체적인 보안 수칙을 제시하고 있어요.
1. 개인정보 및 민감정보 입력 금지
절대 입력 금지 대상:
주민등록번호, 계좌번호, 신용카드 정보
회사 내부 보고서, 고객 리스트, 계약서
비밀번호, 인증 코드
건강 기록, 종교, 정치 성향
실전 예시:
❌ 나쁜 예: "우리 회사 2025년 신제품 마케팅 전략을 요약해줘. (첨부: 내부 전략 문서)"
✅ 좋은 예: "일반적인 B2B 마케팅 전략 프레임워크를 알려줘"
2. 사적 이용과 업무용 이용 계정 분리
"서비스를 사용할 때 개인적인 용도 및 업무 용도를 구분해야 한다. 업무용으로 사용 시 소속 기관의 보안 정책을 준수해야 하며, 개인정보 및 기관 내부 정보활용을 금지하여야 한다."
권장 방식:
개인 계정: 개인 이메일로 가입 (Gmail, Naver 등)
업무 계정: 회사 이메일로 별도 가입
기업용 계정 활용 시 회사 정책 준수
3. 계정 보안 강화
필수 조치:
강력한 비밀번호: 12자 이상, 영문 대소문자 + 숫자 + 특수문자
MFA(다중인증) 설정: Google Authenticator, SMS 인증 활성화
정기적 비밀번호 변경: 3개월마다 (다른 서비스와 동일 비밀번호 사용 금지)
4. 공식 사이트만 이용
피싱 방지:
북마크한 공식 URL만 사용
SSL 인증서 확인 (주소창 자물쇠 아이콘)
이메일/SMS 링크 클릭 자제
주의: chatgpt-login.com, claude-ai-free.com 같은 가짜 사이트 주의!
5. AI 생성 결과물 재검증
환각(Hallucination) 현상 대비:
AI가 제시한 통계·사실을 공식 출처에서 재확인
법률, 의료, 금융 등 전문 분야는 전문가 검토 필수
여러 AI 서비스의 답변 교차 검증
딥시크(DeepSeek) 사태가 던진 교훈
2025년 1월, 중국산 AI 모델 딥시크(DeepSeek)가 글로벌 보안 논란을 일으켰어요. KISA Insight는 이 사건을 심층 분석하며 다음과 같은 경고를 발표했습니다.
딥시크의 3대 보안 문제
AI 탈옥(Jailbreak) 취약성
팔로알토 네트웍스 Unit42 보고서(2025년 1월)에 따르면, 딥시크는 전문 지식 없이도 간단한 탈옥 기법으로 금지된 답변을 생성할 수 있어 다른 AI 모델보다 보안에 취약하다고 분석했습니다.
데이터베이스 공개 사고
학습 데이터 저장 DB가 인터넷에 노출되어 누구나 접근 가능한 상태로 발견됨
중국 정부 접근 가능성
중국 데이터보안법에 따라 정부 요청 시 데이터 제공 의무
한국 정부의 대응
2025년 2월 15일부터 국내 신규 다운로드 차단
정부 부처 및 주요 기업에서 사용 전면 금지
보안 우려 해소될 때까지 규제 지속
우리가 배워야 할 교훈
"AI 서비스 선택 시 보안성 검증이 필수"
점검 항목 | 확인 방법 |
|---|---|
데이터 저장 위치 | 서비스 약관에서 서버 위치 확인 (국내/해외) |
정부 접근 가능성 | 해당 국가의 데이터 관련 법률 검토 |
보안 인증 | ISO 27001, SOC 2, CSA STAR 등 인증 확인 |
학습 데이터 사용 | "No Training" 정책 명시 여부 |
지금 당장 실천할 수 있는 보안 체크리스트
개인 사용자용
[ ] ChatGPT 설정 → "데이터 제어" → "모델 개선을 위해 콘텐츠 사용" 비활성화
[ ] 계정에 2단계 인증(MFA) 설정
[ ] 비밀번호 12자 이상 강력한 조합으로 변경
[ ] 최근 3개월 내 AI에 민감정보 입력 여부 자가 점검
[ ] 설치된 AI 관련 Chrome 확장 프로그램 권한 재검토
모델 이용자용
[ ] 외부 AI API 약관에서 데이터 학습 사용 여부 확인
[ ] 개인정보 처리 위탁 계약 체결 (문서화 필수)
[ ] 입출력 필터링 시스템 도입 (Amazon Bedrock Guardrails 등)
[ ] 정보주체 권리 요청 대응 프로세스 수립
[ ] 개인정보 처리방침에 AI 사용 사실 명시
모델 개발자용
[ ] 개인정보 영향평가 실시 계획 수립
[ ] 학습 데이터의 가명·익명 처리 방안 마련
[ ] PbD(Privacy by Design) 체크리스트 작성
[ ] 프롬프트 인젝션 테스트 시나리오 작성
[ ] CPO 중심의 내부 관리체계 구축
공공기관 담당자용
[ ] 내부망 AI 시스템의 외부망 분리 상태 점검
[ ] 상용 AI 서비스 사용 현황 전수 조사
[ ] 직원 대상 AI 보안 교육 계획 수립 (연 1회 이상)
[ ] 국가 정보보안 기본지침 준수 여부 자체 점검
[ ] 대민 서비스 AI 챗봇의 개인정보 처리 방침 공개 여부 확인
보안과 혁신은 함께 갈 수 있다
생성형 AI는 분명 우리의 업무 방식을 혁신적으로 바꿀 수 있는 강력한 도구예요. 하지만 그 강력함만큼이나 보안 위험도 함께 증가하고 있죠.
KISA와 국정원이 제시한 가이드라인은 단순한 '규제'가 아니라, 안전하게 AI를 활용하기 위한 '필수 지침서'예요. 특히 자신이 어느 타겟에 속하는지 정확히 파악하고, 해당 타겟에 맞는 보안 수칙을 따르는 것이 가장 중요합니다.
모델 개발자라면 PbD와 개인정보 영향평가를, 모델 이용자라면 외부 API의 데이터 통제를, 공공기관 담당자라면 망분리 원칙을, 일반 사용자라면 개인정보 입력 금지와 계정 보안을 최우선으로 실천해야 해요.
지금 당장 위의 체크리스트를 실천해보세요. 몇 분의 투자로 여러분의 소중한 정보와 조직의 기밀을 지킬 수 있습니다.
오프라인 AI, 또 다른 선택지
만약 "클라우드 AI는 아무리 보안을 강화해도 불안해"라는 생각이 든다면, 100% 오프라인에서 작동하는 AI 솔루션도 있어요. 로컬독스(Localdocs)처럼 PC 내부에서만 AI가 실행되는 방식이라면, 데이터가 외부로 전송될 일이 원천적으로 차단됩니다. 인터넷 연결이 필요 없고, 사내 폐쇄망에서도 완벽하게 작동하는 온디바이스 AI는 특히 공공기관, 연구소, 법무법인, 의료기관처럼 데이터 주권과 기밀 유지가 최우선인 조직에서 주목받고 있어요.
클라우드 AI와 온디바이스 AI, 여러분의 업무 환경과 보안 요구사항에 맞는 현명한 선택을 하시길 바랍니다. 생성형 AI의 혁신을 안전하게 누리는 하루 되세요!
참고자료 및 공식 가이드라인 다운로드
국가기관 공식 문서
개인정보보호위원회 & KISA - 생성형 AI 개발·활용을 위한 개인정보 처리 안내서 (2025.8)
국가정보원 - 챗GPT 등 생성형 AI 활용 보안 가이드라인 (2023.6)
금융위원회 - 금융분야 AI 보안 가이드라인 (2023.4)
KISA Insight - 딥시크(DeepSeek)의 등장과 AI 보안 이슈 (2025.1)
KISA 추가 안내서 시리즈
비정형 데이터 가명처리 기준 (2024.2)
AI 개발·서비스를 위한 공개된 개인정보 처리 안내서 (2024.7)
합성데이터 생성·활용 안내서 (2024.12)
AI 프라이버시 리스크 관리 모델 (2024.12)
모든 자료는 KISA 공식 홈페이지에서 무료로 다운로드 가능합니다.