대한신경과학회 전공의의 신뢰할 만한 전문 활동 Korean Neurologist’s Entrustable Professional Activities 13 평가와 연관된 전공의 수련 역량 중심 교육의 효과
Effects of Competency-based Education on Resident Training: A Comparative Review of Korean Neurologist’s Entrustable Professional Activities 13 on Self-evaluation and Professor's Evaluation
Article information
Trans Abstract
Since the implementation of the Resident Training Special Act in 2018, the Training Committee of the Korean Neurological Association has made significant efforts to establish a competency-based resident training program. Through various research activities, the committee has verified the effectiveness of the competency-based training program and conducted additional studies related to the evaluation of the resident training program. In this study, we aimed to analyze the evaluation process of the Korean neurologist’s entrustable professional activities (K-NEPA 13), which outlines 13 core competencies required for neurology residents, and to explore potential improvements in training guidelines and evaluation methods related to these competencies. New evaluation guidelines for the K-NEPA 13 were developed, and a study was conducted with supervising professors and residents from seven training hospitals. The residents were asked to conduct self-assessments, while the supervising professors also evaluated each resident. The evaluation results were compared by categorizing the residents into junior and senior groups to analyze the differences between the two assessments. The results of the evaluations could be classified into several distinctive groups, and each group, based on the specific content of the questions, helped identify the current status and challenges of the training program. Based on these findings, we believe that this research serves as a sufficient foundation for more in-depth investigations and studies in the future, and continuous efforts should be made to improve the competency-based resident training program.
서 론
2016년부터 “전공의의 수련 환경 개선 및 지위 향상을 위한 법률(이하 전공의법)”이 시행된 이후 수련병원들의 전공의 수련 환경에는 많은 변화가 있어 왔다. 전공의 근무 시간 단축을 중심으로 전공의 보호를 위한 제도 개선이 이루어져 왔고 전공의 수련 교육 프로그램 역시 많은 변화가 일어나고 있다[1]. 기존의 지식 전달 중심의 도제 방식 수련 교육에서 진료 현장에서 필요한 필수 역량 교육으로 패러다임을 바꾸고자 하는 노력이 지속되고 있고[2,3] 이러한 추세에 발맞추어 2018년부터 대한신경과학회 수련위원회에서 책임 지도 전문의 제도 신설, 역량 교육 중심의 수련 지침서를 개편하며 이를 전공의 평가와 전공의 e-Portfolio 시스템에 반영해 왔다[4]. 수련 지침서 개편 내용을 좀 더 자세히 들여다보면 신경과 전공의가 갖추어야 하는 기본 역량과 핵심 역량을 선정하고 기본 역량은 13개 항목의 신뢰할 만한 전문 활동(Korean neurologist’s entrustable professional activities, K-NEPA 13)으로, 핵심 역량은 질환과 술기 역량으로 다시 구분하여 4년 수련 기간 동안 각 연차에 맞는 마일스톤(milestone)을 달성하도록 하였다. 또한 기본 역량과 핵심 역량은 체계적인 평가가 가능하도록 평가서와 평가 지침도 마련하였다. 대한신경과학회 수련위원회는 이러한 새로운 수련 교육 제도 마련에만 그치지 않고 제도의 개선과 평가를 위하여 다양한 노력을 해 왔으며 특히 환자 중심 의료 기술 최적화 연구사업에 참여하여 “신경과 역량교육수련체계 교육효과 후향연구 및 인공지능기반 e-Portfolio 역량추적 전향연구”를 국가 과제 연구비로 수행하였다. 이를 통해 대한신경과학회 수련위원회가 진행한 역량 중심 전공의 수련 교육 프로그램의 효과를 검증하였고 전공의 수련 교육 프로그램 평가와 관련된 추가적인 연구를 수행하였다. 본 논문에서는 신경과 전공의가 갖추어야 하는 기본 역량으로 제시된 13개 항목의 K-NEPA 13의 평가 과정을 분석하고 기본 역량과 관련된 수련 지침과 평가 방식에 대한 개선점을 모색하고자 한다.
본 론
1. 연구 방법
1) K-NEPA 13 평가 지침 개편
기존 지침서에서 K-NEPA 13의 평가는 각 항목마다 세부 목표, 평가에 대한 제안, 성과를 구체적으로 제시한 이후 위임 불가, 감독하 위임, 완전 위임 3단계로 평가하였다. 하지만 이러한 평가 방식이 전공의들의 기본 역량을 정확히 평가하기 힘들다는 지적이 많았고 본 연구에서 진행하고자 했던 주제 중의 하나인 전공의 스스로 생각하는 자가 평가와 지도 전문의 평가의 차이 분석에 대한 연구를 진행하기에 어려움이 있었다. 이에 연구진은 K-NEPA 13의 각 항목마다 평가 단계를 세분화하였고 각 단계를 항목 특성에 따라 구체적으로 기술하였다(Table).
The evaluation stages for each item of K-NEPA 13
2) 연구 대상과 연구 방법
2023년 4월 1일부터 8월 31일까지 대한신경과학회 수련위원 소속 수련병원 중에 건국대학교병원, 고려대학교안암병원, 고려대학교구로병원, 인제대학교해운대백병원, 전남대학교병원, 한양대학교병원, 한양대학교구리병원 총 7개 병원에서 지도 전문의와 전공의들을 대상으로 연구를 진행하였다. 각 병원의 전공의들과 지도 전문의들에게 새로 개편한 K-NEPA 13 평가 지침을 배포하여 전공의들은 스스로 자가 평가를 하도록 하였고 지도 전문의들은 기존의 전공의 평가 방식과 유사하게 각 전공의들을 평가하게 하였다. 본 조사에는 지도 전문의 10명과 전공의 41명(저년차 17명, 고년차 24명)이 참여하였다. 본 조사에서 진행한 평가 결과를 비교하여 역량 중심 교육 프로그램을 전공의 시작과 함께 수행한 저년차(1, 2년차)와 기존 교육 프로그램과 역량 중심 교육 프로그램을 모두 수행한 고년차(3, 4년차)로 구분해서 두 평가의 차이점을 분석하였고 지도 전문의로부터는 추가로 기존 평가 지침과 새로운 평가 지침의 차이점과 개선 방안에 대하여 의견을 수집하였다.
2. 결과
각 문항별로 지도 전문의 평가와 자기 평가를 저년차와 고년차로 구분하여 비교한 결과를 살펴보면 문항에 따라 몇 가지 특징들을 분석할 수 있었다. 첫 번째는 고년차에 비해서 저년차들이 지도 전문의들의 평가에 비해 자기 평가에서 높은 평가를 스스로 내린 문항들이다. 총 5개 문항이 이에 해당하는데 “환자, 보호자에게 환자의 신경계 상태를 정확히 전달하고 치료 방향을 함께 논의할 수 있다”, “의식 수준에 따라 효율적인 문진과 정확한 신경계 관찰을 할 수 있다”, “신경계진찰 결과를 추론해 병변을 국소화할 수 있다”, “흔한 신경계 문제를 감별 진단하고 치료할 수 있다”, “치매 노인과 신경계 만성 질환 환자의 돌봄지원시스템을 이해하고 이용할 수 있다” 등이다. 두 번째는 저년차와 고년차 모두 지도 전문의 평가와 비슷하게 평가한 항목이다. “신경계 응급 상황에 적절히 대처하고 중환자를 관리할 수 있다”, “뇌혈관질환의 예방과 관리에 관한 홍보와 교육을 수행할 수 있다” 항목이다. 세 번째는 고년차들이 특히 스스로에 대해서 낮게 평가한 항목들이다. “신경계 검사를 정확히 시행 혹은 판독할 수 있다”, “외래 진료를 독자적으로 할 수 있다”, “신경계 희귀질환 환자와 가족을 교육하고 관리할 수 있다” 등이다. 네 번째는 저년차와 고년차 모두 스스로를 낮게 평가한 항목이며 “동료 의료진과 원활한 의사소통을 통해 협업할 수 있다” 항목이 이에 해당한다. 기타 항목으로 “하급 연차를 지도 감독하고 피드백을 줄 수 있다”의 경우 1년차들은 지도 감독할 수 있는 아래 연차가 없는 상황이어서 저년차과 고년차 비교가 어려웠다. 다만 고년차들의 경우 지도 전문의 평가 내용보다 자기 평가를 낮게 하는 경향이 있었다. “자기 주도 학습과 양질의 논문 검색 능력을 통해 진료의 질을 스스로 개선할 수 있다” 항목도 상당수의 저년차들이 관련 경험이 부족하여 자기 평가가 어렵다고 호소하여 정확한 분석이 힘들었으나 고년차들에 한해서 결과를 살펴볼 경우 지도 전문의 평가와 자기 평가가 큰 차이가 없었다.
연구에 참여한 지도 전문의들은 기존 평가 지침과 새로운 평가 지침의 차이점과 개선 방안에 대해서 다음과 같이 기술하였다. 대부분의 지도 전문의들이 이전 3단계의 평가 지침에 비해서 이번 연구에 쓰인 4단계 평가가 좀 더 평가를 용이하게 해준다는 의견을 제시하였다. 4단계로 좀 더 평가 단계를 세분화한 것도 도움이 되었지만 무엇보다 전공의 상태를 직관적으로 판단하기 쉽도록 문장으로 기술한 점도 높게 평가하였다. 다만 일부 지도 전문의의 경우 5단계 정도로 단계를 좀 더 세분화할 것을 제안하는 경우도 있었고 전공의 수련 현장이 지역별로, 병원별로 다양한 변수가 있으므로 이를 반영하는 평가를 위해서는 단계별 제시 문장을 좀 더 단순화하여야 한다는 의견도 있었다.
결 론
각 문항마다 나타난 평가 결과 차이의 의미를 결과에서 분류된 그룹별로 살펴보면 다음과 같다. 첫 번째 그룹인 고년차에 비해서 저년차들이 지도 전문의들의 평가에 비해서 자기 평가에서 높은 평가를 스스로 내린 문항들의 의미를 살펴보면 환자, 보호자에게 상태를 설명하는 내용, 저년차부터 접하게 되는 신경계진찰 혹은 치매 분야 환자 진료와 관련된 영역이다. 이전 연구에 의하면 저년차 전공의의 경우 자기 역량 평가(self-assesment) 점수가 책임 지도 전문의 평가(supervisor-assesment) 점수보다 높은 경향을 보였다는 것을 이미 확인한 점을 고려한다면[4] 많은 항목에서 이러한 경향이 나타나는 것은 이전 연구와 유사한 결과로 볼 수 있다. 이는 저년차 전공의들이 받기 시작한 역량 중심 수련 교육 프로그램의 효과로 볼 수도 있지만 특정 항목에서 이러한 경향이 더 강하게 나타나거나 나타나지 않으므로 항목의 세부 내용과 결과를 연관 지어 분석할 필요가 있다. 내용을 좀 더 자세히 들여다보면 해당 항목들은 저년차 전공의 수련 과정에서도 교육이 이루어지는 내용과 연관된 문항들이 대부분이며 이는 이전 연구에서도 언급한 바와 같이 능력이 부족한 저년차 전공의가 자신의 실수를 알아차리지 못하는 현상에 기인한 더닝 크루거 효과(Dunning-Kruger effect)라는 인지 편향의 결과 중 하나로 볼 수 있다[5]. 특히 상대적으로 좀 더 심화된 내용으로 볼 수 있는 신경계질환의 감별 진단, 치매 분야 관리에서 이러한 경향이 더욱 크게 나타난 점은 이를 뒷받침하는 결과로 볼 수 있다. 다만 신경과 전공의 수련 과정에서 가장 기본적인 신경계진찰 항목에서도 이러한 경향이 크게 나타난 점은 신경과 수련 교육 프로그램에서도 개선이 필요한 부분이라 할 수 있다. 저년차 전공의 지도 과정에서 이러한 오류를 잡아줄 수 있는 좀 더 세심한 지도 관리가 필요하다. 두 번째 그룹인 저년차와 고년차 모두 지도 전문의 평가와 유사하게 자기 평가를 진행한 응급실 신경과 진료와 뇌졸중 환자 치료 부분이 저년차부터 집중적으로 경험하게 되는 부분이라는 점도 저년차부터 반복되는 경험을 통해서 저년차 전공의들이 더닝 크루거 효과를 극복하고 있다고 볼 수 있다. 지도 전문의 평가에 비해서 자기 평가가 낮은 항목들 역시 신경과의 수련 교육 프로그램을 들여다보는 많은 시사점을 제시해 준다. 신경계 검사와 외래 진료, 희귀질환 관리 등의 항목이 이에 해당하는데 희귀질환의 경우 전공의 수련 과정에서 접하기 쉽지 않은 영역이지만 신경계 검사와 외래 진료의 경우 신경과 전공의 교육 프로그램에서 핵심적인 부분이라는 점을 고려할 때 전공의 교육 프로그램에서 어떤 부분을 좀 더 강화해야 할지를 보여주는 결과라고 할 수 있다. 특히 동료와의 협업 부분은 저년차, 고년차 모두 자기 평가가 지도 전문의 평가에 비해서 낮다는 점은 동료와의 협업에 많은 전공의들이 어려움을 호소하고 있다고 볼 수 있다. 앞으로 전공의 수련 과정에서 이에 대한 교육이 좀 더 체계적으로 이루어져야 함을 시사한다. 하급 연차에 대한 교육에서 고년차 전공의들이 어려움을 호소하는 점에 대해서는 많은 제도 변화 속에서 기존의 도제식 교육 방식의 한계를 시사한다고 볼 수 있으며 자기 주도 학습과 연구 활동의 경우 비교적 스스로에 대한 평가가 정확하다는 점은 전공의들이 자기 주도 학습과 연구 분야에 대한 관심이 높다는 것을 보여준다는 점에서 긍정적이라 볼 수 있다. 조사에 참여한 지도 전문의들이 기존 평가 지침에 비해서 본 조사에 쓰인 새로운 평가 지침을 높게 평가한 점은 향후 평가 방식의 개선이 필요하다는 점을 시사한다. 본 연구에 쓰인 새로운 평가 지침을 통해서 분석된 내용을 바탕으로 향후 K-NEPA 13 평가를 좀 더 실질적이고 효과적으로 진행할 수 있도록 수련위원회에서 수정하여야 할 것이다.
이번 조사는 비록 병원 규모와 지역별로 배분하여 진행하였지만 수련위원회 소속 지도 전문의 중심으로 임의로 선정되었다는 점과 조사에 참여한 인원이 전체 수련병원 소속 지도 전문의와 전공의 수를 비교할 때 소수라는 점은 이번 조사의 한계라 할 수 있다. 하지만 조사 내용을 살펴보면 현재 신경과 수련 교육 프로그램의 문제점과 개선점을 다양하게 제시하고 있으므로 향후 좀 더 깊이 있는 실태 조사와 연구가 진행될 수 있는 기초 작업으로는 충분한 역할을 하였다고 할 수 있다. 앞으로도 신경과 전공의 수련 교육 프로그램 발전을 위해서는 이와 같은 조사를 꾸준히 진행하면서 역량 중심 전공의 수련 교육 프로그램 개선 방안에 대해서 지속적으로 고민해 나가야 할 것이다.