[4L1-GS-10] AI応用：医療・ヘルスケア

[4L1-GS-10-04] 医薬品情報の検索に対応した文埋め込みモデルの構築と評価

〇伊藤 元太¹、松野 匡志¹、北西 由武¹ (1. 塩野義製薬株式会社)

キーワード：医薬品情報、情報検索、文埋め込み、検索拡張生成

大規模言語モデルの発展に伴い，様々なチャットボットの開発が進展している．一般に公開された大規模言語モデルでは，医薬品に関するような専門的な質問に対して，事実と異なる回答を生成することがある．これへの対策として，外部データベースから検索した関連文書を基に回答を生成する検索拡張生成が知られている．本研究は，医薬品の質問に関し高精度な検索を可能にする医薬品分野に対応した文埋め込みモデルの開発を目的としている．
　塩野義製薬に寄せられた医薬品に関する質問記録の一部から模範回答例に含まれる類似する質問を専門家が紐づけ，検索精度の評価データとした．残りの質問記録から，Jaccard類似度が一様分布するように質問ペアを作成し，GPT-3.5で各ペアが意味的に類似しているか判定した．模範回答例データと質問ペアの類似度判定データで，既存の文埋め込みモデルに追加学習を実施し，追加学習前後のモデルで，検索結果のTop-5 Accuracyを測定した．
追加学習前のモデルで82.5％，追加学習後のモデルで93.5％と，より精度の高い検索が可能なモデルを構築することができた．