一般社団法人 日本医療情報学会

[4-E-1-03] ローカルLLMによる医療安全マニュアルのチャットBot化

*森 龍太郎1、高橋 佳大1、矢野 弘章2、松永 敏明2、藤原 琢也2、加藤 一郎2 (1. 岐阜大学医学部附属病院医療情報部, 2. 岐阜大学医学部附属病院医事課医療情報係)

Patient safety manual, local LLM, RAG, chatbot

【はじめに】医療安全マニュアルは医療法によりすべての医療機関において整備することが義務付けられているマニュアルである。マニュアルの作成は業務の標準化に有効である一方、多く利用者にとっては必要な情報に到達するのが難しい現状がある。マニュアルのチャットBot化はこの問題を解決するための有用な手段であるが、病院ネットワーク内ではChatGPT等のオンライン大規模言語モデル(LLM)を利用したチャットBotの構築は困難である。よって我々はローカルLLMによる医療安全マニュアルのチャットBot化を試みた。【方法】ローカルLLMのモデルはgemma-2-9b-itを使用した。LLMに独自データを外挿するRetrieval-Augmented Generation(RAG)を行うためにオープンソース(OSS)のLlamaIndexを使用し、埋め込みモデルmultilingual-e5-largeを用いて医療安全マニュアルのPDFファイルをChunk size 1024、Overlap 256でベクトル化した。ユーザーインターフェース(UI)はGradioを用いてWebアプリとして構築した。【結果】「患者の確認はどのようにしたらよいですか?」「輸血の実施はどのように行えばよいですか?」「気管挿管による歯牙損傷が生じた場合にはどうすればよいですか?」に対しては詳細に正しく回答し、「インフォームド・コンセントを行う上での留意事項を教えてください。」「重要事例発生時にはどのようにしたらよいですか?」「アレルギー対策はどのようにしたらよいですか?」に対してはやや内容が不足した回答となった。「転倒転落の対策はどのようにすればよいですか?」に対しては理由は不明だが引用元しか回答できなかった。全体として回答に誤りは認められず引用元も正しかった。【考察】RAG採用型ローカルLLMを用いた医療安全マニュアルのチャットBotは、高精度な回答が可能で目立ったハルシネーションも生じず有用であると考えられた。ただし質問の仕方にはある程度の配慮が必要であり、またテキストが埋め込まれていないPDFファイルの内容については回答ができなかった。医療安全マニュアルのチャットBot化は必要な情報への容易なアクセスを提供できることから医療安全の向上に貢献できると考えられた。