응급실 진단 연구로 본 OpenAI o1·GPT-4o와 의료 AI의 조건

하버드 의과대학과 Beth Israel Deaconess Medical Center의 공동 연구는 정제된 시험 문제 대신 실제 응급실 환자 자료로 대형 언어 모델의 진단 능력을 평가했다. Science에 게재된 이 연구에서 OpenAI o1은 비교 대상인 내과 전문의 2명보다 높은 진단 정확도를 기록했고, GPT-4o도 비슷한 수준의 성능을 보였다.

주목할 부분은 모델의 순위만이 아니다. 연구진은 실제 임상 환경의 불완전한 정보와 복잡성을 반영한 통제 실험을 구성했다. 의료 AI를 시험 문제 풀이기가 아니라 임상 의사결정 지원 시스템으로 평가하려는 시도라는 점에서 의미가 있다.

시험 문제 대신 실제 응급실 기록을 사용한 이유

기존 LLM 의료 벤치마크는 미국 의사 면허 시험(USMLE) 기출 문제나 가상 증례, 정제된 데이터셋에 주로 의존했다. 이런 평가는 문제 풀이 능력을 확인하는 데에는 유용하지만 실제 임상에서의 유효성까지 보장하지는 못한다.

이번 연구는 응급실에 내원한 환자 76명의 사례를 익명화해 실험 자료로 삼았다. 각 사례에는 초기 주소(chief complaint), 활력 징후, 혈액 검사 결과, 영상 판독 소견, 병력처럼 현장에서 얻을 수 있는 정보가 포함됐다. 내과 전문의 2명과 OpenAI o1·GPT-4o는 같은 정보를 받고 독립적으로 감별 진단 목록을 작성했다. 이후 각 결과를 최종 확정 진단과 대조해 정확도를 산출했다.

가상으로 제작한 증례가 아니라는 점은 비선택 편향을 줄이고, 현실에서 마주치는 정보 부족과 증상 중복, 사례 복잡성을 평가에 반영한다. 전문의와 모델은 서로의 결과를 알 수 없는 블라인드 조건에서 진단했기 때문에 동일한 비교 조건도 유지됐다.

평가 역시 하나의 지표에만 기대지 않았다. 확정 진단과의 일치 여부, 감별 진단 목록에 정답이 포함됐는지, 정답이 어느 순위에 놓였는지를 함께 측정했다.

⤢✕

실제 환자 자료는 모델이 사전에 노출됐을 가능성이 있는 USMLE 기반 평가와도 차이가 있다. 연구 설계는 benchmark contamination과 과적합 문제를 피하면서 새로운 임상 정보에 대한 진단 능력을 확인하도록 구성됐다.

o1의 추론 구조를 의료 진단에 연결하면

o1의 높은 성능 배경에는 응답 전에 수행하는 확장 추론(extended reasoning)이 있다. 의료 진단에서는 제시된 증상을 병태생리학적 메커니즘과 연결하고, 가능한 질환들을 비교하는 과정으로 나타난다.

가령 흉통과 호흡 곤란, 발한이 함께 제시되면 심근경색과 폐색전증, 대동맥 박리 같은 후보를 검토할 수 있다. 각 후보의 사전 확률(prior probability)에 임상 정보의 우도(likelihood)를 반영해 사후 확률(posterior probability)을 추정하는 방식은 베이즈 추론의 직관적 적용에 해당한다.

검사 결과나 임상 소견이 특정 질환과 맞지 않으면 해당 후보를 제외하거나 순위를 낮춘다. 반대로 자료가 부족하거나 증상이 비특이적이면 여러 진단을 함께 제시하고 추가 검사가 필요하다는 형태로 불확실성을 표현한다.

LLM이 이런 작업을 수행할 수 있는 배경에는 학습 과정에서 인코딩된 의학 지식이 있다. PubMed 논문과 교과서, 임상 가이드라인, 증례 보고 등 수십억 개의 의학 텍스트에서 얻은 통계적 패턴이 모델 파라미터에 분산돼 있다. 명시적인 규칙 목록은 아니지만 새로운 증상 조합을 해석할 때 활용할 수 있는 기반이 된다.

⤢✕

정확한 답을 내는 능력만으로는 의료 AI의 신뢰성을 설명할 수 없다. 오답에도 높은 확신을 보이는 overconfidence는 임상적으로 위험하고, 반대로 지나치게 보수적인 모델은 활용하기 어렵다. 연구에서 o1은 정보가 부족할 때 진단 확정이 어렵거나 추가 검사가 필요하다는 점을 언어로 드러내는 경향을 보였다. 이런 calibration은 임상 의사결정 지원 시스템에서 정확도와 함께 평가해야 할 대상이다.

진단 정확도가 곧 임상 배치를 뜻하지는 않는다

의료 AI가 현장에 들어가려면 특정 데이터셋에서 얻은 성능을 넘어 여러 종류의 신뢰성을 확보해야 한다.

⤢✕

기술적 신뢰성은 환자 집단과 병원 시스템, 데이터 품질이 달라져도 성능이 유지되는지를 다룬다. 한 기관에서 좋은 결과를 낸 모델이 다른 환경에서 성능 저하를 겪는 distribution shift는 의료 AI가 계속 풀어야 할 문제다.

임상적 안전성은 모델이 틀렸을 때 생기는 위해를 줄이는 설계와 관련된다. STEMI와 폐색전증, 대동맥 박리처럼 생명을 위협하는 질환에서는 위음성(false negative)의 결과가 치명적일 수 있다. 고위험 진단에는 민감도를 우선하는 임계값 조정이 필요하다.

윤리와 책임의 문제도 남는다. 현행 의료법 체계에서 최종 진단과 치료 결정은 의료인의 책임이므로 AI는 의료진의 판단을 대체하는 주체가 아니라 이를 지원하는 도구로 설계돼야 한다. 규제 적합성 측면에서는 SaMD(Software as a Medical Device)로 분류되는 진단 도구가 각국 규제 기관의 검증 절차를 충족해야 한다.

의사와 AI의 역할을 분리하는 협업 모델

이 연구를 AI가 의사를 대체해야 한다는 근거로 읽는 것은 연구 결과의 범위를 넘어선다. 연구팀도 AI가 의사의 인지적 부담을 줄이며 진단을 지원하는 협업 모델에 무게를 둔다.

응급실 의료진은 여러 환자를 동시에 관리하며 피로와 시간 압박 속에서 판단한다. AI가 초기 감별 진단을 작성하고 가능성이 높은 후보를 정렬하면 의사는 그 목록을 검토하고 임상 맥락에 맞는지 비판적으로 판단할 수 있다. 이때 AI는 안전망 역할을 맡아 의료진이 놓칠 수 있는 후보를 환기한다.

AI가 담당할 수 있는 일은 방대한 의학 지식의 처리, 복잡한 감별 진단 목록의 정렬, 희귀 질환 가능성의 제시다. 환자와 신뢰 관계를 형성하고 직접 신체 검진을 수행하며 치료 계획을 통합적으로 판단하는 일, 최종 결정에 책임지는 일은 의사의 몫으로 남는다.

국가별 의료 AI 규제와 설명 가능성

미국 FDA는 AI/ML 기반 의료 기기 소프트웨어를 위험도에 따라 분류한다. 진단 보조 기능은 일반적으로 Class II의 510(k) 허가 또는 Class III의 PMA 시판 전 허가 대상이다. 2021년에 발표된 AI/ML 기반 SaMD 행동 계획은 지속적으로 학습하는 AI 모델에 사전 결정 변경 통제 계획(PCCP)을 요구한다.

유럽에서는 MDR에 따라 진단 알고리즘을 체외 진단 의료 기기(IVD) 또는 의료 기기로 분류하고 CE 인증을 요구한다. 2024년 발효된 EU AI Act는 의료 진단 AI를 고위험 범주로 지정해 추가적인 투명성과 인간 감독 의무를 부과한다.

한국에서는 2019년 제정된 뒤 개정된 식약처의 빅데이터 및 인공지능 기술 적용 의료기기 허가·심사 가이드라인에 따라 AI 진단 소프트웨어를 의료기기로 허가한다. 이 과정에는 임상 성능 시험 데이터와 알고리즘 검증 보고서 제출이 요구된다.

규제와 임상 현장은 AI가 어떤 근거로 진단 후보를 상위에 배치했는지 설명할 수 있기를 요구한다. 근거를 확인할 수 없다면 의료진이 모델의 판단을 맹목적으로 받아들이거나 무조건 거부할 위험이 있다.

LLM은 생성한 텍스트로 추론 근거를 표현할 수 있다는 점에서 이미지 분류 모델 같은 다른 의료 AI보다 설명 가능성의 여지가 크다. 다만 출력된 설명이 실제 내부 연산을 충실하게 반영하는지, 즉 faithfulness가 확보됐는지는 별개의 문제다. 모델의 설명이 결과를 사후적으로 정당화한 언어적 구성물일 가능성은 아직 배제할 수 없다.

연구 결과를 해석할 때 남겨둬야 할 범위

환자 76명은 통계적 유의성을 확보하기에 충분한 표본이지만, 의료 AI의 실제 배치를 정당화하려면 훨씬 큰 규모의 다기관 검증이 필요하다. 한 응급실에서 수집한 자료라는 점도 결과의 일반화를 제한한다. 환자 구성과 의료진 역량, 기관별 진단 프로토콜이 달라지면 같은 성능이 재현되지 않을 수 있다.

비교 대상이 내과 전문의 2명으로 제한됐다는 점도 고려해야 한다. 더 많은 전문의나 다학제 팀과의 비교는 수행되지 않았다. 연구 조건에서는 의료진이 실제 진료에서 활용하는 직접 신체 검진과 환자 대화, 임상적 직관도 제외됐다.

실제 응급실에서는 의사가 수십 명의 환자를 동시에 관리한다. 연구에서 전문의에게 제공된 조건이 이러한 시간 압박을 충분히 반영했는지도 검토할 부분이다.

모델 업데이트 역시 규제와 검증을 어렵게 만든다. 현재 모델에서 측정한 성능을 이후 버전에 그대로 적용할 수 없으므로 연속적인 재검증 체계가 필요하다.

의료 AI가 임상에 들어가기 위한 조건

OpenAI o1이 내과 전문의보다 높은 진단 정확도를 보였다는 결과는 AI가 방대한 의학 지식을 처리하고 인간의 기억 한계와 인지적 편향을 보완할 가능성을 보여준다. 그렇다고 의료 행위 전체를 진단 정확도만으로 환원할 수는 없다.

임상에서 활용하려면 모델 성능 검증과 함께 기존 워크플로에 통합하는 방법, 의료진 교육, 규제 체계, 환자 신뢰를 함께 다뤄야 한다. 이번 연구는 AI가 의사를 대체한다는 선언보다, 의료진과 AI가 역할을 나눌 때 어떤 검증과 통제가 필요한지 묻는 출발점에 가깝다.