
http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
최용빈(Yongbin Choi),성무진(Mujeen Sung) Korean Institute of Information Scientists and Eng 2025 한국정보과학회 학술발표논문집 Vol.2025 No.7
본 논문은 생명의료 분야에서의 정보 검색 성능을 향상시키기 위해 트리 기반 연관성 피드백 기법인 TREX(Tree-based Relevance Feedback for Query Expansion)를 제안한다. 기존 희소 검색 기반 방식은 용어 일치 기반의 강점을 지니고 있지만 어휘 불일치 문제로 인해 생명의료 분야에서 중요한 문서를 검색하지 못할 수 있다. TREX는 대규모 언어 모델(LLM)을 활용하여 다양한 표현으로 질의를 확장하고 이를 트리 구조로 구성하여 다양한 확장 경로를 평가 및 선택함으로써 검색 품질을 향상시킨다. BEIR 벤치마크의 생명의료 데이터셋(Scifact, NFCorpus, TREC-COVID)에 대하여 실험을 진행한 결과, TREX는 기존 BM25 및 의사 연관성 피드백(Pseudo Relevance Feedback) 기법들 보다 더 높은 성능을 달성하였다. 이를 통해 본 연구는 의미 기반 확장과 평가를 트리 구조로 통합한 TREX가 생명의료 분야의 정보 검색에 효과적으로 활용될 수 있음을 실증적으로 보여준다.
EHRFlexAgent: 스키마 독립적 전자 건강 기록 자연어 질의 에이전트
송용우(Yongwoo Song),성무진(Mujeen Sung) Korean Institute of Information Scientists and Eng 2025 한국정보과학회 학술발표논문집 Vol.2025 No.7
본 연구에서는 사전에 데이터베이스 스키마 정보가 주어지지 않아도 효과적으로 작동하는 ‘EHRFlexAgent’ 모델을 제안한다. 전자건강기록(EHR) 데이터베이스는 의료 기관마다 구조가 상이하여 기존 EHR 에이전트 모델들은 특정 환경에 특화된 학습이 필요했다. 그러나 EHRFlexAgent는 데이터베이스 구조를 자율적으로 탐색하고 이해하는 능력을 갖추어, 다양한 의료 환경에 유연하게 적응할 수 있다. 본 에이전트는 ReACT (Reasoning-Action) 프레임워크를 기반으로 설계되었으며, MIMIC과 eICU 두 가지 다른 데이터베이스 환경에서의 실험을 통해 스키마 사전 지식이 주어진 기존 에이전트와 동등한 성능을 달성함을 검증하였다. 이러한 접근 방식은 병원, 클리닉, 연구 기관 등 다양한 의료 환경에서 별도의 커스터마이징 없이 즉시 활용 가능한 범용성을 제공하여 의료 데이터의 접근성과 활용도를 향상시킨다.
대규모 언어 모델을 이용한 환자를 위한 의료 영상 판독문 변환
Nur Alya Dania binti Moriazi,성무진(Mujeen Sung) Korean Institute of Information Scientists and Eng 2025 한국정보과학회 학술발표논문집 Vol.2025 No.7
어려운 의학적인 용어가 의료 영상 판독문에 많이 들어가 있으며 환자들은 해당 판독문을 이해하기가 어려운 경우가 많다. 본 논문에서는 이를 해결하기 위하여 BioLaySumm 데이터셋을 기반으로 대규모 언어 모델을 통해 의료 영상 판독문을 환자 친화적 판독문으로 변환함을 진행하였다. 좋은 모델을 얻도록 인스트럭트 모델 여러 개에 효율적 파라미터 지도 파인튜닝을 적용하였으며, FKGL, DCRS, CLI 같은 독해 점수를 이용하여 이해하기 더 쉬운 판독문을 얻었음을 보였고, 관련성과 의학적 사실성 점수로 GPT-4o-mini 베이스라인 모델보다 성능이 더 나은 모델을 얻었음을 보여, 지도 파인튜닝을 활용하여 대규모 언어 모델로 좋은 환자 친화적 의료 영상 판독문을 생성할 수 있음을 확인할 수 있다.
체크리스트 기반 대형 언어 모델 평가 자동화를 위한 경량 언어 모델
김원진(Wonjin Kim),박재윤(Jaeyun Park),성무진(Mujeen Sung) Korean Institute of Information Scientists and Eng 2025 한국정보과학회 학술발표논문집 Vol.2025 No.7
본 연구는 대형 언어 모델(Large Language Model, LLM) 평가 자동화 방법론들의 한계인 높은 비용, 낮은 재현성 및 보안성 등을 지적하고, 이를 개선하기 위해 경량 LLM 기반의 프레임워크인 Tiny Evaluator를 제안한다. Tiny Evaluator는 체크리스트 생성 모델 학습, 체크리스트 생성, 체크리스트 채점의 세 단계로 구성되며, 전 과정을 경량 LLM으로 수행함으로써 효율성과 재현성을 확보한다. 아울러 직접 학습한 경량 LLM 체크리스트 생성 모델을 통해 SOTA (State-of-the-Art) LLM에 의존하지 않고도 인간 선호도와의 높은 상관관계를 유지하는 자동평가가 가능함을 보인다.
Open Patient-Ψ: 오픈소스 LLM 기반 환자 시뮬레이션 시스템
정윤서(Yoonsuh Jung),한승헌(Seungheon Han),성무진(Mujeen Sung) Korean Institute of Information Scientists and Eng 2025 한국정보과학회 학술발표논문집 Vol.2025 No.7
연구는 정신건강 상담 교육을 위한 환자 시뮬레이션 시스템에서 GPT-4 기반 모델의 비용 및 폐쇄성 한계를 해결하고자 오픈소스 언어모델 기반의 Open Patient-Ψ 시스템을 제안한다. 먼저 Patient-Ψ[1] 논문 구조를 충실히 반영하여 총 1300개의 환자 시뮬레이션 데이터를 구축하고, QLoRA 기법[3]을 활용하여 Qwen2.5 모델(0.5B/3B)[4]을 파인튜닝하였다. 훈련은 1000개 샘플로 수행되었으며, 100개의 검증 데이터셋을 활용하여 총 25개 하이퍼파라미터 조합 중 최적 조합을 자동으로 선정하였다. 이후 테스트셋 200개를 기반으로 최적 모델과 GPT-4.1-nano 간의 응답을 비교 평가하였다. 평가 방법으로는 BERTScore[2], 핵심 정보 포함도 정량 평가, LLM 기반 정성 평가를 도입하였다. 그 결과, Open Patient-Ψ 모델은 GPT-4.1-nano에 근접한 응답 품질을 보였고, 오픈 소스 모델 기반 시뮬레이션의 가능성을 입증하였다. 본 연구는 향후 AI 피드백 기반 강화학습(RLAIF), 멀티 참조 평가 구조를 향후 확장 가능성으로 제시한다.
대규모 언어 모델 기반 한국어 말하기 평가 자동화의 가능성과 한계 분석
홍예림(Yerim Hong),손소현(Sohyun Son),성무진(Mujeen Sung) Korean Institute of Information Scientists and Eng 2025 한국정보과학회 학술발표논문집 Vol.2025 No.7
본 연구는 대규모 언어 모델(LLM)을 활용한 한국어 말하기 자동 평가의 가능성과 타당성을 탐색하였다. 외국인 학습자와 모어 화자의 발화에 대해 LLM이 산출한 점수와 전문가 점수를 비교하고, Pearson 상관계수 및 Mann-Whitney U 검정을 통해 평가의 신뢰성과 숙련도 구분력을 분석하였다. 그 결과, 일부 모델은 전문가 평가와 높은 상관을 보였으며, 화자의 숙련도 차이에도 민감하게 반응하였다. 본 연구는 LLM 기반 말하기 평가 자동화의 실현 가능성을 제시하고, 향후 평가 설계에 필요한 기초를 제공한다.