서울대학교병원

서울대병원, 거대언어모델 기반 흉부 X선 판독문 인코더 개발
- 의료 영상‧판독문 160만여 건 학습…병원마다 다른 약어‧서식에도 정확도 유지
- GREEN 점수 0.618 기록…실제 판독문 추적 가능해 PACS(의료영상저장전송시스템) 연동 기대

표

[그림1] LLM 기반 흉부 X선 판독문 검색 원리 및 예시 (왼쪽) 기존 BERT 모델은 같은 의미의 판독문도 다른 문장으로 분류하지만, LLM은 의미가 통하는 문장끼리 가깝게 묶어 인식한다 (오른쪽) 영상과 판독문을 각각 인코더로 변환해 같은 공간에 놓고, 영상과 가장 가까운 판독문을 후보 중에서 고른다.

서울대병원 영상의학과 연구팀이 병원마다 다른 X선 판독문 스타일 문제를 해결할 검색 기술을 개발했다. 흉부 X선 영상과 일치하는 과거 판독문을 찾아주는 거대언어모델(LLM) 기반 AI 모델로, 병원‧의사별로 다른 약어‧서술 방식에도 일관된 정확도를 유지하는 것이 특징이다.

서울대병원 영상의학과 박창민·이동헌 교수 연구팀(제1저자 고한빈 연구원)이 글로벌 공개 데이터와 서울대병원 실제 임상 자료 등 약 160만여 건의 대규모 영상-텍스트 쌍을 통합 분석해 흉부 X선 영상-텍스트 양방향 검색 AI 모델을 선보였다고 26일 밝혔다.

흉부 X선 판독문에는 ‘양측 하폐야(BLLF)’, ‘기흉(PTX)’처럼 기관마다 다른 약어가 자주 쓰인다. 병원에 따라 소견을 상세히 적거나 결론만 간단히 남기는 곳도 있어, 서식이 불규칙하다. 

이렇듯 판독문 형식과 약어가 병원마다 다르다. AI 언어모델의 한 종류인 BERT 텍스트 인코더*를 쓰는 기존 AI는 이 때문에 영상과 문장을 정확히 연결하기 어려웠다. 학습 데이터를 늘려도 성능이 정체되거나 오히려 떨어지는 한계도 있었다.
*인코더: 텍스트/영상 등을 컴퓨터가 이해하는 숫자로 변환하는 장치

이에 연구팀은 BERT 대신 거대언어모델을 문장 인코더로 전환해 이 문제에 접근했다. 문장을 앞에서 뒤로만 읽는 기존의 단방향 구조를, 앞뒤 문맥을 함께 읽는 양방향 구조로 바꿨다. 판독문을 새로 쓰는 생성형이 아니라, 기존 판독문을 찾아주는 ‘검색형’ 인코더로 만든 것이다. 이어 원본 판독문에 AI로 만든 변형 문장을 더해 총 110만여 건으로 학습 데이터를 늘린 후, 빈칸 채우기 학습과 대조학습을 거쳐 같은 의미의 판독문끼리 가깝게 묶는 인코더(LLM2VEC4CXR)를 완성했다.

연구팀은 이 인코더를 영상 인코더와 결합해 ‘LLM2CLIP4CXR’ 모델을 만들었다. 영상과 판독문을 모두 숫자로 바꿔 같은 공간에 놓고 비교하는 방식이다. 이후 모델에 서울대병원 비식별 데이터와 공개데이터셋(MIMIC-CXR·CheXpert-plus·PadChest)을 더해 총 160만여 건의 영상-판독문 쌍을 학습시키고, 자체 검증 데이터셋(MIMIC-CXR)과 외부 검증셋(Open-I)으로 성능을 검증했다.  

표

[그림2] 기존 인코더 대비 LLM2VEC4CXR 성능 비교

표

[그림3] Open-I 데이터에서 뽑은 200건 중 72개 표본을 무작위 추출해 ▲검색 방식(LLM) ▲검색 방식(BERT) ▲생성 방식(MAIRA-2)에 대한 흉부 영상의학 전문의 기준 순위 평가: 세 개의 대표 모델만을 대상으로 순위를 산정했으며, 평균 순위가 낮을수록 정답보고서와의 임상적 일치도가 높음을 의미한다.

분석 결과, 자체 검증 데이터셋(MIMIC-CXR)에서 임상 정확도를 나타내는 GREEN 점수(1에 가까울수록 정확)가 0.308로 비교 모델 중 가장 높았다. 외부 검증셋(Open-I)에서는 GREEN 점수가 0.618을 기록했으며, 상위 1순위 안에 정답을 찾은 비율도 4.9%로 검색 기반 비교 모델 중 최고치(2.9%)를 웃돌아, 검색 정확도와 임상 지표 모두 비교 모델을 앞섰다.

특히 약어가 많고 결론 위주로 짧게 쓰인 판독문을 추가로 학습시켜도 정확도는 유지되거나 향상됐다. 반면 기존 BERT 기반 모델은 판독문이 늘어날수록 정확도가 떨어졌다. 

전문가 평가에서도 우수성이 확인됐다. 의대생 3명과 거대언어모델 4종이 외부 검증셋 200개 증례를 평가한 결과, 연구팀 모델이 가장 우수한 평가를 받았다. 흉부영상 전문의가 별도로 검토한 72개 증례 중에서는 76%가 이 모델의 결과를 1순위로 선택했다.

연구팀은 이 기술이 향후 PACS·RIS 환경에서 과거 검사나 유사 증례를 의미 기반으로 찾아주는 ‘검색 계층’으로 활용될 수 있을 것으로 내다봤다. 실제 존재하는 영상과 판독문을 찾아 제시하는 방식인 만큼, 결과의 근거를 추적하고 전문의가 직접 확인할 수 있다는 점도 장점으로 꼽았다.

박창민 교수(영상의학과)는 “의료 AI의 성능은 데이터양보다 문맥과 임상 지식을 얼마나 깊이 있게 이해하느냐에 달려 있다”며 “이런 검색 방식은 결과의 근거를 추적할 수 있다는 장점이 있다”고 강조했다.

이동헌 교수(영상의학과)는 “이번 연구로 비정형 판독문도 원형 그대로 활용할 수 있는 길을 열었다”며 “향후 흉부 CT 등으로 범위를 넓히고, 실제 진료 현장의 유용성을 확인하는 다기관 후속 검증 작업을 추진할 계획”이라고 말했다.

한편 이번 연구는 국제학술지 ‘IEEE Journal of Biomedical and Health Informatics(JBHI)’에 게재됐으며, 개발한 모델은 글로벌 AI 플랫폼 ‘허깅페이스(Hugging Face)와 깃허브(Github)’에 연구 목적으로 공개됐다.

표

■ 공개 모델 링크   - https://huggingface.co/lukeingawesome/llm2vec4cxr   - https://github.com/lukeingawesome/llm2vec4cxr

표

[사진 왼쪽부터] 서울대병원 영상의학과 박창민, 이동헌 교수