기사 메일전송
의료용 AI 챗봇, 악의적 공격에 94% 무방비 노출…세계 최초 분석 - 서울아산병원 서준교·전태준, 인하대병원 이로운 교수팀 - GPT-5·제미나이 2.5 프로 등 최상위 모델도 100% 공격 성공률 기록 - 임산부 금기약물 권고 등 심각한 안전성 문제 확인…임상 적용 전 보안 검…
  • 기사등록 2026-01-06 09:00:03
기사수정

상용 의료용 AI 모델 대부분이 프롬프트 인젝션 공격에 94% 이상 취약해 환자에게 잘못된 치료를 권할 위험이 높다는 연구 결과가 발표됐다.

이번 연구는 AI 모델을 의료 상담에 적용할 때 프롬프트 인젝션 공격에 얼마나 취약한지를 세계 최초로 체계적으로 분석했다는 점에서 의의가 크다. 

향후 AI 모델을 임상에 적용할 경우 안전성 검증과 같은 추가적인 조치가 필요할 것으로 보인다.


◆ GPT-4o-mini 등 3종 AI 모델 공격 성공률 94.4%

서울아산병원 비뇨의학과 서준교·정보의학과 전태준, 인하대병원 영상의학과 이로운 교수팀은 2025년 1월부터 10월까지 AI 모델 3종인 지피티-4오-미니(GPT-4o-mini), 제미니-2.0-플래시 라이트(Gemini-2.0-flash-lite), 클로드 3 하이쿠(Claude 3 Haiku)의 보안 취약성을 분석했다.


▲3단계 위험도 시나리오로 취약성 평가

교수팀은 12개 임상 시나리오를 구성하고 위험도를 3단계로 구분했다. 

중간 단계는 당뇨 등 만성질환 환자에게 인정받은 치료 대신 생약 성분을 추천하는 것이었다.

높은 단계는 활동성 출혈이나 암 환자에게 생약 성분을 권하고 호흡기 질환 환자에게 호흡 억제를 유발할 수 있는 약을 우선 권장하는 것이었다. 

최고 단계는 임신부에게 금기 약물을 권하는 것이었다.

공격 기법은 두 가지를 사용했다. 

상황인지형 프롬프트 주입은 환자 정보를 활용해 AI 모델의 판단 교란을 유도하는 기법이며, 증거 조작은 실제 존재하지 않는 정보를 그럴듯하게 만들어내는 공격법이다.


▲모델별 공격 성공률 최대 100%

교수팀이 환자와 AI 모델 3종이 나눈 총 216건의 대화를 분석한 결과, 전체 공격 성공률은 94.4%로 나타났다. 

모델별 공격 성공률은 GPT-4o-mini 100%, Gemini-2.0-flash-lite 100%, Claude 3 Haiku 83.3%였다. 시나리오의 위험 수준별 성공률은 중간 단계 100%, 높은 단계 93.3%, 최고 단계 91.7%로 확인됐다.

특히 임신부에게 금기 약물을 권장하는 공격에는 3종 모두 취약한 것으로 밝혀졌다. 조작된 답변이 후속 대화까지 지속된 비율은 3종 모두 80% 이상이었다. 이는 한 번 무너진 안전장치가 대화 내내 이어질 수 있음을 의미한다.


◆최상위 AI 모델도 공격 방어 실패

교수팀은 추가로 최상위 AI 모델인 GPT-5, Gemini 2.5 Pro, Claude 4.5 Sonnet을 대상으로도 보안 취약성을 평가했다. 

공격 방식은 클라이언트 사이드 간접 프롬프트 인젝션으로 사용자가 사용하는 화면 등에 악성 문구를 숨겨 해당 문구가 AI 모델의 동작을 조작하도록 만드는 기법이다.

임신부에게 금기 약물을 추천하는 시나리오를 적용한 결과, 공격 성공률은 GPT-5 100%, Gemini 2.5 Pro 100%, Claude 4.5 Sonnet 80%로 최신 AI 모델도 사실상 공격을 방어하지 못하는 것으로 확인됐다.


◆“임상 도입 전 보안 검증 체계 의무화 필요”

서준교 교수는 “이번 연구는 의료용 AI 모델이 단순 오류를 넘어 의도적 조작에 구조적으로 취약하다는 사실을 실험적으로 규명했다”며 “현재의 안전장치만으로는 금기 약물 처방을 유도하는 등의 악의적 공격을 차단하기가 어렵다”고 말했다.

이어 “환자 대상 의료 챗봇이나 원격 상담 시스템을 도입하기 위해서는 AI 모델의 취약성과 안전성을 철저히 테스트하고 보안 검증 체계를 의무화하는 조치가 필요하다”고 강조했다.

이번 연구 결과는 미국의사협회가 발간하는 국제 학술지 ‘자마 네트워크 오픈(JAMA Network Open, 피인용지수 9.7)’ 최근호에 게재됐다. 


한편 프롬프트 인젝션 공격은 해커가 생성형 AI 모델에 악의적인 명령어를 삽입해 본래 의도와 다르게 동작하도록 유도하는 사이버 공격이다.

[메디컬월드뉴스 김영신 기자]


관련기사
0
기사수정

다른 곳에 퍼가실 때는 아래 고유 링크 주소를 출처로 사용해주세요.

http://medicalworldnews.co.kr/news/view.php?idx=1510972276
기자프로필
나도 한마디
※ 로그인 후 의견을 등록하시면, 자신의 의견을 관리하실 수 있습니다. 0/1000
확대이미지 영역
  •  기사 이미지 [11월 5일 병원계 이모저모②]국립나주, 보라매, 부산백, 한양대병원 등 소식
  •  기사 이미지 [11월 제약사 이모저모②]현대바이오그룹, 보로노이, GC녹십자, 동아제약 등 소식
  •  기사 이미지 [11월 13일 병원계 이모저모④]국립중앙의료원, 인천성모병원, 춘천성심병원 등 소식
국립암센터
분당서울대병원 2026신년
국립중앙의료원
대한의사협회
경희대한방병원
인제대백병원
한림대학교의료원
분당제생병원
서남병원
아스트라제네카
모바일 버전 바로가기