[1O4-OS-18a] 医学・生物学データを活用したAIの創出

[1O4-OS-18a-04] 診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証

〇西林 孝¹、太田 満久¹、風間 正弘¹ (1. Ubie株式会社)

キーワード：自然言語処理、ヘルスケア、知識ベース

医療テキストを既存の情報システムに取り込むにはテキストに現れる病名や症状をシステム内部の知識表現に対応づける必要がある．本研究では，大規模言語モデル（LLM）が診断前の現病歴テキストから医学エンティティを抽出し，知識ベースへマッピングする精度を評価した．特に，症状の有無および症状の属性（発症時期，経過など）を対象とした．約4,000の概念からなる医学知識ベースを用い，Long-Context LLMによる少数ショットエンティティリンキングの実験を実施した．130件の臨床シナリオからなるデータセットによる評価の結果，症状の有無を表すエンティティ群のF1スコア0.8，症状の程度など表すスケールエンティティ群のF1スコアは0.7であった．本結果より，LLMを利用した少数ショットエンティティリンキングの精度は専門家のチェックが必要なレベルだがアノテーション作業支援には有用であることが示唆された．また，思考過程の出力が性能向上に寄与し，知識ベースの曖昧性が精度に悪影響を及ぼすことが確認された．今後の課題として，LLMでの利用を前提とした知識表現ベースの改良が挙げられる．