서 론
뇌동맥류(cerebral aneurysm)는 대뇌 또는 두개 내 혈관벽의 내부 근육층이 약화되어 뇌동맥이 국소적으로 팽창하거나 확장되는 뇌혈관질환이다. 건강한 성인의 약 3%가 뇌동맥류를 가지고 있으며 이 중 약 1%는 파열 위험이 있다. 뇌동맥류가 파열될 경우 사망에 이르거나 심각한 장애를 초래할 수 있기 때문에[1,2] 뇌동맥류를 조기에 발견하는 것은 적절한 의료적 개입과 예방을 위해 매우 중요한 일이다.
뇌혈관조영술(digital subtraction angiography, DSA)은 뇌동맥류 판독에 있어서 최적 표준으로 알려져 있다. 그러나 DSA는 침습적이며 촬영 시간이 오래 걸리고 비용이 높다는 단점이 있다[3]. 이에 비해 유체속도강조 자기공명혈관조영(time of flight magnetic resonance angiography, TOF-MRA)은 비침습적이고 비용이 비교적 저렴하여 접근성이 용이하다. 따라서 TOF-MRA는 실제 임상 현장에서 뇌동맥류 진단 혹은 경과 관찰 시 주로 사용되며 비교적 높은 민감도(sensitivity)를 가진다[4]. 이러한 장점들도 있지만 TOF-MRA는 DSA에 비해서 뇌동맥류 구별에 한계가 있으며 5 숙련된 신경영상 전문의가 아닌 경우 판독에 어려움을 겪을 수도 있다는 단점도 존재한다[6]. 실제로 Mine 등[7]의 연구에 의하면 DSA를 뇌동맥류 진단 참조 표준으로 했을 때 TOF-MRA 영상의 민감도는 91.4%였고 3 mm 이상일 때는 민감도가 100.0%였지만 3 mm 이하일 때는 민감도가 74.1%에 불과하였다고 보고하였다.
이러한 한계점을 극복하기 위하여 딥러닝 모델을 활용한 TOF-MRA 진단 보조 소프트웨어 개발이 활발하게 진행되고 있다. 다양한 선행 연구에 따르면 의사들이 진단 보조 모델과 함께 뇌동맥류를 판독할 경우 진단 보조 모델 없이 판독한 것보다 민감도가 더 높아졌다. 진단 보조 모델은 의사들이 1차로 발견한 뇌동맥류보다 더 많은 개수의 뇌동맥류를 발견하기도 하였다[6,8]. 그러나 대부분의 모델은 실제 영상의학과 의사들보다 판독 성능이 낮으며 특히 낮은 위양성 비율(false-positive rate)을 유지하면서 높은 민감도를 달성하는 것이 가장 어려운 부분이라고 알려져 있다[9,10]. 실제로 Nomura 등[9]의 연구에서 모델의 위양성 비율이 증가할수록 민감도가 함께 증가하는 것을 확인할 수 있다. 이러한 상황의 주된 이유는 뇌동맥류 양성 영역이 차지하는 비율이 전체 TOF-MRA에서 0.1% 이하이기 때문이다[11]. 따라서 실제 임상 환경에서 영상의학과 의사들은 TOF-MRA 전체에 동일하게 주의를 기울이는 것이 아니라 뇌동맥류가 주로 발생하는 혈관을 중심으로 주의 깊게 판독한다. 본 연구에서는 의사가 뇌동맥류를 진단하는 방법을 모방하여 TOF-MRA 전체를 확인하는 것 대신 뇌동맥류가 자주 발생하는 혈관 위치에 더 주의를 기울여 판독하는 모델을 개발하고자 하였다.
따라서 본 연구에서는 자체적으로 개발한 랜드마크 생성 기술(landmark generation technique)을 사용하여 뇌동맥류가 존재할 가능성이 높은 혈관 위치를 선별한 뒤 뇌동맥류를 검출하는 딥러닝 모델을 개발하였다. 이 모델을 통해 TOF-MRA 뇌동맥류 판독의 효율성과 정확성을 향상시키고자 한다.
대상과 방법
1. 자료 수집
본 연구는 수집된 의무기록 자료를 이용하는 후향 연구로 대한민국에 위치한 세브란스 병원에서 2012년 1월부터 2016년 12월까지 뇌TOF-MRA 검사를 받은 환자의 3D TOF-MRA를 수집하였다. 뇌동맥류 양성 및 음성 자료 모두 수집되었으며 양성의 경우 다음 기준을 따랐다: 1) TOF-MRA 검사일 기준으로 만 19세 이상인 자, 2) 자기장 세기가 1.5T 혹은 3T인 magnetic resonance imaging (MRI) 결과가 있는 자, 3) TOF-MRA로 촬영한 영상 결과가 있는 자, 4) 비파열성 뇌동맥류를 진단받은 자, 5) TOF-MRA에서 전형적인 낭상형 뇌동맥류를 진단받은 자. 음성의 경우 다음과 같은 기준을 따랐다: 1) TOF-MRA 검사일 기준으로 만 19세 이상인 자, 2) 자기장 세기가 1.5T 혹은 3T인 MRI 결과가 있는 자, 3) TOF-MRA로 촬영한 영상 결과가 있는 자, 4) MR 영상 소견상 뇌동맥류가 없는 자. 이 중에서도 이미 뇌동맥류를 치료하였거나 뇌동맥류의 크기가 2 mm 이하인 경우 그리고 가성동맥류와 같은 특이한 원인이 있는 뇌동맥류를 포함한 대상자는 제외하였다. 또한 두뇌 구조에 영향을 줄 정도의 수술의 흔적이나 뇌동맥류 이외의 다른 병변이 있는 경우와 뇌에 금속 임플란트가 있는 경우도 제외하였다. 위의 기준을 바탕으로 뇌동맥류 양성 500명, 뇌동맥류 음성 50명을 확보할 수 있었다.
2. 영상 촬영 및 전처리
본 연구에서는 1.5T (Achieva; Philips Healthcare, Andover, MA, USA)와 3T 영상(Achieva and Ingenia; Philips Healthcare; Trio Tim; Siemens, Munich, Germany; Discovery MR750; GE Healthcare, Chicago, IL, USA)을 모두 사용하였다. TOF-MRA는 repetition time, 17-34 ms; echo time, 2.3-6.9 ms; flip angle, 14-18°; slice thickness, 0.5-1.4 mm; acquisition matrix, 416×256 to 880×662 지표로 촬영되었다. 확보된 영상은 리샘플링(resampling), 신호강도 정규화(intensity normalization), 명암 대비 스트레칭(contrast stretching), 가우시안 스무딩(Gaussian smoothing)과 같은 전처리 과정을 거쳤다.
3. 참조 표준 설정 및 레이블링(labeling) 방법
수집된 TOF-MRA를 토대로 영상의학과 전문의가 뇌동맥류의 유무(양성, 음성)와 개수, 위치를 판독하였으며 최소 2인, 필요시 3인의 판독이 모두 동일한 영상만 참조 표준으로 설정하였다. 결과적으로 뇌동맥류 양성인 500명 중 426명은 1개의 뇌동맥류가 있었으며 60명은 2개의 뇌동맥류가 존재했다. 또한 12명은 3개의 뇌동맥류, 1명은 4개의 뇌동맥류, 1명은 5개의 뇌동맥류가 확인되었다. 이 중 검증용 자료는 전체 550명에서 무작위로 55장(양성 50장, 음성 5장)의 영상을 선별하여 지정하였으며 총 55개의 뇌동맥류가 존재하였다.
참조 표준 설정 방법에 따라 뇌동맥류의 유무를 분류한 뒤 해당 과정에 참여한 영상의학과 전문의가 뇌동맥류 레이블링을 진행하였다. 익명화 처리된 TOF-MRA 자료에 대해 신중히 검토한 뒤 수동 분할 도구인 ITK-SNAP (http://itksnap.org)을 사용하여 뇌동맥류 수동 분할을 수행하였다[8,12,13]. 매 영상마다 뇌동맥류에 해당하는 부위를 픽셀 단위로 표시하여 3D volume 형태의 마스크를 라벨로 생성하였다(Supplementary Fig. 1).
4. 모델 개발
뇌동맥류의 랜드마크를 예측하는 모델을 개발할 수 있는 가장 일반적인 방법은 사람이 제작한 landmark gold standard로 모델을 학습시키는 것이다. Landmark gold standard를 생성하기 위해서는 영상의학과 의사들이 환자의 TOF-MRA를 판독하고 internal carotid artery, anterior cerebral artery, middle cerebral artery 등 혈관의 이름마다 구분하여 표시해야 하며 Fig. 1에 있는 것처럼 뇌동맥류가 있는 혈관뿐 아니라 뇌동맥류가 일어날 가능성이 있는 모든 혈관을 구별해야 한다.
하지만 위와 같은 방법으로 모든 랜드마크를 표시하는 것은 시간과 노동력이 매우 많이 요구된다. 따라서 이 작업에 대한 효율성을 높이기 위하여 본 연구에서는 뇌동맥류만 표시한 gold standard를 사용하여 준지도학습 기반 자동 랜드마크 생성 방법(semi-supervised learning-based automatic landmark generation method)을 개발하고자 하였다[14]. 이 방법은 뇌동맥류 양성 위치(aneurysm-positive position)의 군집화와 딥러닝 모델의 훈련으로 구축되었다.
1) 군집화
본 연구는 모든 TOF-MRA의 3D 공간에 뇌동맥류 양성 위치를 군집화하였고 군집화의 중심은 딥러닝 모델을 위한 랜드마크의 초기 위치(initial location)로 사용되었다. 뇌동맥류 양성 위치는 TOF-MRA 전체에 분포하는 것이 아니라 특정 혈관 위치에 존재한다. 그렇기 때문에 k-평균 군집화를 사용하여 유클리드 거리(Euclidean distance)가 가까운 뇌동맥류 양성 위치끼리 집단을 형성하였다. 해당 결과는 Supplementary Fig. 2에서 확인할 수 있다[15].
2) 뇌동맥류 3D volume mask 좌표화
본 연구에서 labeling한 뇌동맥류 3D volume mask는 좌표 정보가 존재하지 않기 때문에 모든 mask는 Python (Python Software Foundation, Wilmington, DE, USA)의 오픈소스 라이브러리를 통해 좌표화를 진행하였다. 우선 생성된 뇌동맥류 mask는 torchio를 통해 1과 0으로 표시된 3D matrix로 변환된다. 이후 connected-component labeling으로 단일 label (1)로만 표현된 mask 상의 뇌동맥류를 개별 label (1, 2, 3, etc.)로 구별해 준다. 이 경우 하나의 MRA에 있는 다수의 뇌동맥류를 각 label의 숫자로 구별할 수 있게 된다.
다음으로 각 label이 존재하는 위치를 numpy의 where 메소드를 통해 호출한다. 이 메소드는 각 label이 존재하는 3차원 상의 x, y, z 지점을 반환하게 되는데 이를 통해 3D matrix에서 해당 뇌동맥류가 존재하는 x, y, z좌표 리스트를 얻을 수 있게 된다. 마지막으로 각 좌표의 중심점을 구하기 위해 x, y, z좌표 리스트 각각의 평균을 구한다. 이 과정을 거치고 나면 뇌동맥류 mask의 중심점이 3D 좌표 평면에서 어떤 위치에 놓여 있는지를 알 수 있게 된다. 결론적으로 이것을 모든 환자에 대해 반복 수행하여 뇌동맥류 mask에 대한 3D 중심점 좌표를 얻을 수 있게 된다.
3) 딥러닝 모델 훈련
본 연구의 딥러닝 모델은 뇌동맥류가 발생할 수 있는 모든 랜드마크를 표시하며 혈관의 모양을 고려함으로써 뇌동맥류가 발견될 수 있는 영역을 더 정확하게 예측할 수 있도록 설계되었다. 모델은 Fig. 2와 같이 dilated residual network를 사용하고[16] 256으로 재배열된 TOF-MRA를 입력값으로 받는다. K는 랜드마크의 개수이고 R은 랜드마크의 크기이다. 해당 연구에서는 적절한 K와 R을 실험적으로 결정하였으며 이와 관련된 결과는 연구 결과 부분에 보고되어 있다.
본 연구는 랜드마크 라벨에 대한 ground truth가 없기 때문에 초기 단계에서는 k-평균 군집화로 만들어진 하위 집단을 기반으로 pseudo-true landmark를 우선 형성한 뒤 모델의 손실 함수를 자체적으로 제작하여 준지도학습으로 훈련시켰다(Fig. 3). 여기서 L1은 아무런 뇌동맥류 랜드마크를 포함하지 않는 landmark box B가 뇌동맥류 양성 위치 A를 포함하도록 하는 역할을 한다. Fig. 4-A의 예시를 보면 B1에는 이미 A1이 포함되어 있기 때문에 현재 상태를 유지한다. 그러나 B2는 어떠한 A도 포함하고 있지 않기 때문에 A2가 있는 위치로 이동하였음을 확인할 수 있다. 또한 L2는 landmark box B가 서로 겹쳐지지 않도록 하는 역할을 한다. Fig. 4-B의 예시를 보면 겹친 영역이 있는 box들은 서로 밀려나게 된다. Box끼리 겹친 부위는 존재하지 않으며 서로 영향을 주지 않는다. 훈련 과정은 Fig. 5에 제시되어 있으며 랜드마크는 뇌동맥류가 일어날 것으로 예상되는 혈관에 위치하고 있다.
5. 알고리즘 검증 방법
검증용 데이터는 뇌동맥류 양성 대상자 55명, 음성 대상자 50명으로 구성되어 있다. 본 연구의 모델을 통해 각각의 검증용 데이터에서 뇌동맥류 후보 영역을 추출하고 분류 확률(classification probability)이 0.5 이상인 부위는 진양성(true-positive)으로 간주하여 해당 부위에 box를 생성한다. 이러한 box를 여러 개 생성한 뒤 그중 intersection over union (IOU) 값이 가장 높은 것을 채택하여 최종 box와 분류 점수(classification score)를 제공한다. 이는 non-maximum suppression 기법이다. 이후 검증 데이터에서 모델 결과인 prediction을 일괄적으로 추출하고 gold standard (영상의학과 전문의 수동 분할 및 annotation box)를 활용하여 알고리즘에 대한 검증을 수행한다. Prediction은 box의 정보(x1, y1, z1, x2, y2, z2)와 뇌동맥류 영역에 대한 확률값(probability score)을 통해 도출되며 정답 데이터는 영상의학과 전문의가 수동 분할한 영상의 box 정보(x1, y1, z1, x2, y2, z2)를 통해 도출된다. 이 과정을 통해 모델이 생성한 prediction과 gold standard가 표시된 box 결과의 일치 여부(IOU 값 0.5 기준)를 비교하여 인공지능 알고리즘의 민감도 및 특이도를 계산하고 검출 정확도를 평가하였다.
6. 통계 분석 방법
통계 프로그램 R version 3.6.3 (R Foundation, Vienna, Austria; http://www.R-project.org)을 이용하여 통계 분석을 수행하였다. 수집된 데이터는 빈도수(count), 분율(%)을 산출하고 chi-square test로 검정하였다.
결 과
뇌동맥류 양성군과 음성군의 영상 취득 정보는 Supplementary Table에 정리하였다. 본 연구에서 랜드마크의 개수(K)와 크기(R)가 증가할수록 뇌동맥류를 더 쉽게 포함하는 것을 관찰할 수 있었다(Table). 실험적으로 가장 최적의 수치는 K=10, R=36 mm3이며 모든 TOF-MRA 뇌동맥류 판독은 해당 수치로 설정하여 진행되었다.
본 연구에서 제안된 랜드마크 생성 기술은 총 2가지 요소가 검증되었다. 첫 번째로 모델이 생성한 랜드마크와 정답 데이터와의 비교를 통해 생성된 랜드마크를 질적으로 검토하였다. 해당 과정의 예시는 Fig. 6에 나타내었는데 두 가지 경우의 진양성과 한 가지 경우의 위양성을 보여준다. 위양성의 경우 가장 위의 랜드마크가 뇌동맥류를 놓친 것을 확인할 수 있다.
두 번째로 생성된 랜드마크가 뇌동맥류를 포함하는 것뿐만 아니라 불필요한 공간을 적절하게 제외하는지에 대해서도 검토하였다. 재배열된 TOF-MRA 영상의 크기는 256×256×256 mm3이기 때문에 총 복셀의 개수는 16,777,216개이다. 하지만 K=10, R=36 mm3로 생성된 랜드마크 부위는 총 466,560개이며 이것은 TOF-MRA 공간에서 약 2.8%만 차지한다. 또한 생성된 랜드마크 내에 뇌동맥류가 54개(98.18%) 포함되어 있었다. 이것은 본 연구에서 제안한 기술이 TOF-MRA 영상의 불필요한 공간 97.2%를 제거함과 동시에 98.2%의 뇌동맥류는 보존할 수 있다는 것을 의미한다.
추가적으로 본 연구에서는 랜드마크 생성 모델을 뇌동맥류 판독 모델로 한 단계 더 발전시켰다. 판독 모델은 10×10×10 mm3 크기의 box를 통해 뇌동맥류의 유무를 0에서 1 사이의 확률로 예측하였다. 확률이 0보다 1에 가깝다면 모델은 해당 box 내에 뇌동맥류가 있다고 판단한다. 판독 모델은 랜드마크 부위만 따로 분리하여 학습 및 분석을 진행하였으며 모델의 검증 결과는 민감도 46/55 (83.6%), 위양성 비율(false-positive rate) 3.4이다. 또한 뇌동맥류 gold standard와 모델이 판독한 부위의 정확도를 비교하기 위하여 Dice similarity coefficient [17]를산출하였으며 그 값은 0.66이었다.
고 찰
본 연구는 유일하게 뇌동맥류 판독 모델에서 개인에게 가장 적합한 뇌동맥류 랜드마크를 자동으로 생성하는 과정을 포함한 연구이다. 전체 TOF-MRA에서 뇌동맥류 양성인 영역이 차지하는 비율은 0.1% 이하로 이는 진단 보조 프로그램의 성능에 부정적인 영향을 미칠 수 있다. 반면 실제 임상 현장에서 의사들은 뇌동맥류 진단 시 TOF-MRA 전체에 동일한 주의를 기울이는 것이 아니라 뇌동맥류가 자주 발생하는 부위에 더 높은 주의를 기울이며 판독한다. 본 연구에서는 이러한 방식을 모방하여 모델의 뇌동맥류 판독 효율을 높이고자 하였으며 이를 위해 뇌동맥류만 레이블링한 데이터를 활용하여 군집화와 dilated residual network를 함께 사용하는 준지도학습 기반 자동 랜드마크 생성 방법을 사용하였다. 이 방법을 통해 모델은 각 개인마다 뇌동맥류가 발생할 확률이 높은 혈관 부위에 자동으로 랜드마크를 형성하였으며 개수 10개, 크기 36 mm3일 때 최적의 성능을 나타내었다. 딥러닝 모델은 랜드마크 개수와 크기가 증가할수록 뇌동맥류를 더 쉽게 포함할 수 있었다. 하지만 그에 따라 모델이 뇌동맥류가 아닌 영역도 포함하여 위양성이 증가할 가능성이 있다. 다시 말해서 랜드마크의 개수와 크기가 작은데도 뇌동맥류 대부분을 포함할 수 있다면 뇌동맥류 판독에 대한 민감도는 높아지고 위양성은 낮아질 것이다. 이 모델을 통해 뇌동맥류를 판독하였을 때 민감도 83.6%, 위양성 비율 3.4를 달성하였다.
Di Noto 등[18]은 본 연구와 유사하게 뇌동맥류 랜드마크를 활용하여 모델을 구축하였다. 해당 연구는 총 20개의 랜드마크를 MNI 공간에 표시하여 probabilistic vessel atlas를 만들었고 이를 TOF-MRA에 co-registration하는 방식으로 각 개인의 랜드마크를 지정하였다. 이 연구에서 제안한 모델의 성능은 민감도 80.0%, 위양성 비율 1.2였다. 비록 본 연구 모델의 위양성 비율이 Di Noto 등[18]이 개발한 모델보다 높지만 각 연구의 데이터 구성과 평가 기준이 다르기 때문에 모델 성능의 단순 비교는 사실상 불가능하다. 또한 기술적인 관점에서 볼 때 본 연구의 자동 랜드마크 생성 기술은 뇌동맥류 판독의 효율성을 최대화한 방법이며 이것은 본 연구만의 큰 강점이라 할 수 있다. 이 부분은 추후 고도화를 통해 더욱 정교한 모델을 구축할 수 있을 것이다.
이처럼 뇌동맥류 판독의 효율과 정확성을 높이기 위해 다양한 방법으로 모델을 개발한 선행 연구들이 존재한다. 뇌동맥류는 파열 시 사망 혹은 심각한 장애를 초래할 수 있기 때문에 조기 진단의 중요성이 매우 강조된다. 이에 따라 다양한 선행 연구에서 접근성이 쉬운 TOF-MRA를 기반으로 뇌동맥류 판독 모델 개발이 활발하게 진행되었으며 그 성능이 개선되어 왔다. Terasaki 등[19]의 연구에서는 위양성 비율을 감소시키기 위해 2D SE-ResNet과 3D SE-ResNet을 결합하여 multidimensional convolutional neural network (MD-CNN) 모델을 개발하였다. 그 결과 2D-CNN 혹은 3D-CNN을 단독으로 사용한 모델보다 위양성 비율이 더 낮아졌을 뿐만 아니라 민감도도 전반적으로 더 높아졌고 내부 검증에서 최대 민감도 82.5%, 위양성 비율 5.4를 나타내었다. Miki 등[20]의 연구에서는 실제 임상 TOF-MRA 판독 환경에서 의사들의 뇌동맥류 진단 보조 모델이 있을 때와 없을 때의 판독 결과를 비교하였다. 그 결과 2명의 의사가 진단 보조 모델이 없었을 때는 평균 민감도가 64.0%였지만 모델과 함께한 경우 69.0%로 증가하였고 뇌동맥류 추가 판독률은 약 9.3% 증가하였다. Štepán-Buksakowska 등[21]의 연구에서는 6명의 의사가 모델의 도움 없이 뇌동맥류를 진단했을 때 평균 민감도가 70.4%였지만 모델의 도움을 받았을 때는 평균 민감도가 83.4%로 유의하게 증가하였다. 비록 해당 연구에서 평균 특이도는 감소하였지만 민감도를 개선하면 보통 위양성 비율의 증가도 수반되기 때문에 예외적인 결과는 아니라고 주장하였다. 또한 Ueda 등[8]의 연구에서는 의사가 진단 보조 모델을 사용했을 때 내부 자료에서 뇌동맥류가 4.8% 더 발견되었고 외부 자료에서는 13.0% 더 발견되었다고 보고하였다. 이러한 결과들을 통해 진단 보조 모델이 의사들의 뇌동맥류 판독 결과를 개선시키는 것을 확인할 수 있다.
이처럼 뇌동맥류 판독 모델이 의사의 진단에 도움을 주는 것은 명백한 사실이지만 여전히 한계점이 존재한다. 선행 연구 결과에 따르면 진단 보조 모델의 민감도가 증가할수록 위양성 비율도 함께 증가하는 경향이 있다. Ueda 등[8]의 모델은 90.0% 이상의 높은 민감도로 의사들의 뇌동맥류 추가 판독을 도울 수 있었지만 그에 비해 특이도는 낮았으며 이는 해당 모델이 뇌동맥류를 간과하는 것을 최소화하기 위해 수반되는 결과라고 설명하였다. 마찬가지로 Yang 등[10]이 개발한 뇌동맥류 판독 모델은 민감도가 95.0%일 때 위양성 비율이 9.0이고 민감도가 80.0%일 때는 위양성 비율이 3.0으로 감소하였다. 또한 Terasaki 등[19]의 모델은 민감도가 82.5%일 때 위양성 비율이 5.4였으며 민감도를 80.0%로 낮출 시 위양성 비율이 5.0으로 감소하였다. Nomura 등[9]의 연구에서는 위양성 비율을 인위적으로 조절하여 성능을 검토하였는데 위양성 비율이 3.0일 때 민감도가 81.5%, 위양성 비율이 5.0일 때는 민감도가 87.0%, 위양성 비율이 9.0일 때는 민감도가 94.4%로 위양성 비율과 민감도가 함께 증가하는 것을 확인할 수 있었다. 이처럼 민감도를 높이면서 낮은 위양성 비율을 유지하는 것은 쉽지 않다. 이와 비교하였을 때 본 연구의 모델은 민감도가 83.6%, 위양성 비율이 3.4로 적절한 중간점의 성능을 가지고 있다고 할 수 있다.
본 연구 모델의 민감도는 경력이 낮은 신경영상 전문의나 신경영상 전문의가 아닌 의사(신경외과 의사, 일반 영상의학과 의사 등)에 비해 높은 것으로 확인되었다[6,21]. 진단 보조 프로그램의 주요 보조 대상은 숙련된 신경영상 전문의보다는 숙련되지 않은 의사들이며 다양한 선행 연구에서 진단 보조 프로그램을 사용했을 때 해당 의사들의 뇌동맥류 판독력이 유의하게 증가하는 것을 확인할 수 있었다[6,22]. Sohn 등[6]에 의하면 신경과 전문의, 신경외과 전공의, 영상의학과 레지던트가 진단 보조 프로그램을 사용했을 때 민감도가 유의하게 증가하였고(각각 60.4%에서 91.7%, 82.2%에서 96.4%, 80.5%에서 96.4%로 증가), 판독 시간이 감소하였다고 보고하였다(각각 0.99분에서 0.47분, 1.01분에서 0.78분, 0.64분에서 0.55분으로 감소). 이 연구에서 신경영상 전문의의 판독력은 개선되지 않았는데 이는 해당 연구의 참조 표준을 신경영상 전문의들이 만들었기 때문이라고 주장하였다. 또한 Kakeda 등[23]의 연구에서는 일반 영상의학과 의사와 레지던트가 진단 보조 모델을 사용했을 때 뇌동맥류 판독 민감도와 특이도가 유의하게 개선된 것을 확인하였으며(민감도 69.5%에서 81.3%로 증가, 특이도 81.3%에서 91.5%로 증가) 진단 보조 모델을 통해 이들의 진단 정확성과 효율성을 보완할 수 있다고 주장하였다. 본 연구 모델의 뇌동맥류 판독 민감도는 선행 연구에서 제시한 의사들의 민감도보다 높기 때문에 의사들의 뇌동맥류 판독력을 개선시킬 가능성이 있다. 추후 연구를 통해 본 연구 모델의 사용 여부에 따른 의사들의 판독력을 비교해 볼 수 있을 것이다.
이 연구에는 몇 가지 제한점이 있다. 첫째, 모델의 위양성 비율이 비교적 높은 편이다. 이는 본 연구의 한계점으로 더 많은 TOF-MRA 데이터를 활용하여 고도화 연구를 진행해야 할 것이다. 둘째, 이 연구의 학습 및 검증에 사용된 데이터는 단일 기관에서 가져온 것이다. 따라서 수가 많지 않으므로 추후 모델의 보편성을 확인하기 위하여 다양한 기관의 데이터를 통해 외부 검증이 필요하다. 셋째, 본 연구의 뇌동맥류 TOF-MRA 데이터는 실제 외래 진료의 데이터를 무작위로 선별한 것이기 때문에 뇌동맥류의 위치 분포가 다양하지 않다. 따라서 추후 연구에서는 뇌동맥류가 흔히 발생하는 위치뿐만 아니라 유병률이 낮거나 위험도가 높은 부위에 발생한 뇌동맥류가 포함된 자료를 함께 사용하여 모델을 학습시켜야 할 것이다. 넷째, 랜드마크 생성 모델이 1.8%의 뇌동맥류를 감지하지 못한다는 것이다. 해당 부분은 후속 연구를 통해서 더욱 발전시키고자 한다.
본 연구는 실제 임상 현장에서 의사가 TOF-MRA를 판독하는 방법을 모방하여 뇌동맥류 판독에 불필요한 부위를 제외하고 개개인마다 가장 적절하게 생성되는 랜드마크 내에서만 뇌동맥류를 진단하는 모델을 개발하였다. 해당 모델을 통해 전체 TOF-MRA 중 약 2.8%의 픽셀만 판독하여 98.2%의 확률로 뇌동맥류를 포함할 수 있었고 민감도 83.6%, 위양성 비율 3.4의 성능을 나타내었다. 추후에 모델 고도화 작업을 통해 더욱 효율적인 모델을 개발할 수 있을 것이다.