AI가 여는 디지털헬스케어, “자율성 커진 만큼 전면적 규제 재설계 시급”

금융권 뚫은 자율형 AI 해킹에 의료 데이터도 '비상' "단편적 성능 평가 벗어나 전주기 신뢰성·선제적 규격화 서둘러야" △개인정보 통제권 상실 △AGI의 '선의의 거짓말' 경고 △전주기 신뢰성 시험평가 △합성데이터 인허가 한계 등 4대 핵심 현안 집중 점검

(왼쪽부터) 이병남 김·장 법률사무소 고문, 김헌성 서울성모병원 교수, 김기영 한국산업기술시험원 센터장, 김건소 에버트라이 연구소장. ©약업신문=김홍식 기자

사용자의 지시 없이도 설정된 목표를 달성하기 위해 스스로 의사결정을 내리고 행동하는 이른바 ‘에이전틱 AI’ 기술이 의료 현장에 본격적으로 스며들고 있다. 

인공지능이 단순한 보조적 역할을 넘어 자율적 주체로 격상됨에 따라, 보건의료 산업계는 혁신적인 의료 시스템 효율화를 기대하는 동시에 전에 없던 새로운 차원의 규제 및 안전성 확보라는 중대한 과제를 마주하게 됐다.

3일 한국디지털헬스산업협회 주최로 서울파르나스호텔에서 열린 ‘2026년 디지털헬스 전문가 세미나’는 이러한 헬스케어 산업의 패러다임 전환을 입체적으로 진단하는 자리였다.

유기윤 한국디지털헬스산업협회 상임이사는 인사말을 통해 “AI에서 에이전트 AI로의 빠른 발전은 의료 서비스의 효율성을 높이는 것을 넘어, 의료와 돌봄을 잇고 가정에서 지역사회로 헬스케어 영역을 무한히 확장시킬 것”이라며 “다만 이러한 변화가 실질적 산업 혁신으로 이어지기 위해서는 데이터 규율, 기술 개발, 보건의료 체계 변화가 맞물린 전면적인 제도화 정책이 시급하다”고 강조했다.

통제권 벗어난 에이전틱 AI, 현행 개인정보보호법으론 ‘역부족’

첫 번째 발제자로 나선 이병남 김·장 법률사무소 고문은 에이전틱 AI 도입에 따른 개인정보 규율의 치명적 한계를 짚었다. 

이 고문은 “기존의 개인정보보호 법제는 철저히 ‘사람(개인정보 취급자)’의 접속과 통제를 전제로 설계되어 있다”며 “그러나 에이전틱 AI는 인간의 개입을 최소화한 채 스스로 외부 애플리케이션을 호출하고 동적으로 접근 권한을 무한정 확장해 나간다는 점에서 현행 법제 적용에 커다란 괴리가 발생한다”고 지적했다.

특히 에이전틱 AI가 다층적인 추론과 툴 호출을 거치며 개인정보를 지속 처리할 경우, 이 과정이 위수탁 관계인지 제3자 제공인지 법적으로 명확히 규정하기 어렵다는 점을 꼬집었다. 

이 고문은 최근 금융권을 강타한 ‘아텍스(ATEX)’ 기반 해킹 사례를 언급하며 “에이전틱 AI를 활용한 해킹은 IP를 지속적으로 변경하고 오류 메시지를 스스로 학습해 우회 통로를 찾기 때문에 단순한 방어벽은 무용지물”이라며 “AI 설계 초기부터 ‘최소 수집 원칙’을 적용하고 기능에 따라 단기·장기 메모리를 분리해 파기 기준을 확립하는 선제적 기술 통제가 필수적”이라고 역설했다.

AGI의 ‘선의의 거짓말’ 경고… 생존 해법은 ‘비대면 진료 연계’

김헌성 서울성모병원 교수는 범용 인공지능(AGI) 시대가 초래할 임상 현장의 혼란과 생존 전략을 설명했다. 

김 교수는 “스스로 코딩하고 진화하는 AGI 단계에 이르면, 의료진은 AI의 진단 결과를 단지 맞는지 틀리는지 확인하고 ‘관리’하는 수준으로 역할이 후퇴할 수 있다”고 진단했다.

김 교수는 AGI가 초래할 잠재적 임상 위험으로 ‘선의의 거짓말’ 현상을 경고했다. “AI가 인간 의사가 이해하지 못하는 고차원적 알고리즘으로 정확한 진단을 내렸음에도 의사가 이를 부정할 경우, AI는 의사를 설득하기 위해 합리성을 가장한 거짓말을 꾸며낼 위험이 있다”는 것이다. 

또한 망막 안저 검사 이미지에 픽셀 점 하나만 추가해도 판독 결과가 0%에서 99%로 완전히 뒤바뀌는 ‘적대적 공격’ 사례를 제시하며, 의료 AI가 해커들의 표적이 되기 매우 쉬운 환경임을 지적했다.

한편, 위고비 등 강력한 비만치료제의 돌풍으로 침체기를 겪고 있는 디지털헬스케어 기기 산업의 생존 전략도 제시됐다. 

김 교수는 “사용자의 자발적 참여를 지속하기 어려운 현 상황에서 디지털헬스가 활로를 찾으려면 ‘비대면 진료’ 시장과 적극적으로 연계해야 한다”며 “고혈압, 당뇨 등 만성질환은 디지털 기기의 생활습관 개입이 가장 효과적인 영역이므로 환자의 포만감, 공복감 등 특성을 정밀하게 세분화해 맞춤형 가치를 제공해야 한다”고 조언했다.

의료 AI 시험평가, ‘단일 시점 품질’에서 ‘전주기 신뢰성’으로 재편

김기영 한국산업기술시험원 센터장이 의료 AI 시험평가의 패러다임 변화를 심층 분석했다. 

김 센터장은 “과거 인공지능 평가는 특정 시점에서 알고리즘의 민감도나 특이도를 따지는 ‘품질’ 중심이었으나, 이제는 전체 수명 주기 동안 열화나 고장 없이 성능이 유지되는지를 확인하는 ‘신뢰성’ 공학 관점으로 규제가 재편되고 있다”고 설명했다.

IMDRF의 GMLP 공동 원칙이나 미국 FDA의 TPLC(전주기 관리) 지침이 이를 방증한다. 

김 센터장은 실무적 대응 방안으로 “ISO/IEC TS 42119-2(AI 테스팅)와 ISO 14971(의료기기 위험 관리) 표준을 연계하여 시험 평가 전략을 수립해야 한다”며 “단순히 모델 성능만 떼어놓고 볼 것이 아니라 특정 장비나 촬영 조건 변화 시 성능 유지 여부, PACS 연동 인터페이스 오류 등 전체 시스템 맥락에서 임상적 위험을 식별하고 철저히 검증해야 한다”고 강조했다.

“확정적 임상 근거 활용은 철저한 사전 규격화 선행돼야”

끝으로 김건소 에버트라이 연구소장은 규제샌드박스를 통해 활로를 찾고 있는 ‘합성 데이터’의 한계와 실무적 쟁점을 다뤘다. 

환자의 프라이버시 보호와 희귀질환 등 데이터 부족 현상을 해결하기 위해 AI로 생성한 합성 데이터 연구가 국내외에서 활발히 이뤄지고 있으나, 이를 인허가 근거로 곧바로 사용하기에는 규제의 벽이 존재한다는 분석이다.

김 소장은 “올해 상반기 산업통상자원부 규제 특례로 AI 합성 데이터 기반 맞춤형 의료 서비스 실증이 승인됐고, 영국 규제 샌드박스의 ‘AI 에어록’ 사례에서도 LLM을 활용해 합성 데이터를 생성하고 이를 검증하는 파일럿 프로그램이 가동됐다”고 소개했다.

그러나 “현재 식약처나 미국 FDA 등 주요 규제기관 중 합성 데이터를 허가를 위한 최종적이고 확정적인 임상 근거로 온전히 받아들인 곳은 없다”고 선을 그었다. 

이어 “합성 데이터가 임상적 타당성을 인정받으려면 생성 전 단계부터 알고리즘 개발용인지 허가용인지 활용 목표를 명확히 선언해야 한다”며 “실제 데이터와 동일하다고 인정할 수 있는 허용 오차와 임상적 동등성 기준을 사전에 규제기관에 제시하는 철저한 설계 과정이 뒷받침되어야 한다”고 제언했다.

유기윤 한국디지털헬스산업협회 상임이사가 인사말을 전하고 있다. ©약업신문=김홍식 기자

참석자들이 기념사진 촬영을 하고 있다. ©약업신문 김홍식 기자