Japan Association for Medical Informatics

[3-I-2-04] Generative AIによる肺癌診療ガイドライン 2023年度版 Clinical questionへの回答精度

*Takayuki Nakano1,2 (1. 市立福知山市民病院, 2. 京都府立医科大学大学院 医学研究科)

generative AI, lung cancer, guideline

【目的】Generative AI (生成 AI) は, 大規模言語モデルを対話生成ツールとして fine tuning することで人間にも了解可能な言語による回答を生成できるツールとして発展した. 特に 2022 年 11 月に米国 Open AI 社が ChatGPT を公開して以降, 本邦を含めた各国で多数の生成 AI ツールが樹立された. 実用化された多くの生成 AI ツールは医学情報に特化したものではないが, その高い汎用性から各国の医師国家試験を合格可能な水準で回答可能であった. 医学専門領域における生成 AI ツールの精度向上が図られることで, 非専門医が当該領域の診療に当たる際の一助となることが期待される. 【方法】肺癌診療ガイドライン 2023 年度版を題材として, Open AI 社の ChatGPT (-4o), 米国 Google 社の Gemini 1.5 pro の回答精度を検討した. 同ガイドラインに記載されたすべての Clinical question を, 2024 年 4 月現在の日本を想定した回答の要請, 並びに略語についての情報補足を除き原文のまま修飾せず各生成 AI ツールに提示し, 自由回答させた. それぞれの回答がガイドライン記載と一致するかを評価した. 【結果】ChatGPT(-4o), Gemini 1.5 pro のいずれにおいても, ガイドライン記載と 80% 以上の一致率を認めた. 【考察】診療ガイドラインの水準で平準化された医学知識の精度並びに意思決定について, Generative AI は非専門医にとって有用な支援ツールとなる可能性が示された. 【倫理的配慮】本研究は人を対象とする生命科学・医学系研究に関する倫理指針の対象外である.