[3-I-1-03] ChatGPTを用いた医療情報技師試験問題の解答解析
ChatGPT, Healthcare Information Technologist, Medical education, Artificial intelligence, Mulitimodal large language model
【目的】ChatGPTは、幅広い分野の質問に対して、詳細な回答を生成できることから高い注目を集めている。本研究では、医療情報技師試験問題に対するChatGPTの回答を分析し、その精度を検討することを目的とした。【方法】 第10回~21回試験で出題された問題を対象とし、ChatGPT(GPT-3.5およびGPT-4V)へ問題を1問毎に入力した。回答を得た後、出題分野毎に正答率を算出した。【結果】ChatGPTの平均正答率は、GPT-3.5で60%(医学医療:58%、情報処理:71%、医療情報システム:52%)、GPT-4Vでは86%(医学医療:86%、情報処理:93%、医療情報システム:81%)であった。GPT-4Vにおいて、医学医療では、医学医療総論、検査・診断、医療統計などの分野は平均正答率が95%を超えた。一方で、保健医療制度、医療記録、臨床データベースなどの分は6~7割台の正答率となった。情報処理ではほとんどの分野で正答率が90%を超えた。医療情報システムの平均正答率では、病院情報システムの導入が最も高く90%となった。【考察】医療情報システムは、GPT-4VもGPT-3.5も医学医療と情報処理と比較して、平均正答率が低かった。後者の2つは、教科書的な知識を問う問題となっている。他の医療や情報系の資格試験でも出題される問題も多い。一方で、医療情報システムでは、具体的なシステムの機能や導入・運用手順、関連する規格に関する知識が要求される。これらは、医学医療・情報処理と比較して、インターネット上での学習データは少なく、ChatGPTの学習不足により精度が低かったと考えられる。【結論】ChatGPTによる、医療情報技師試験の回答解析を実施した。GPT-4Vでは86%(医学医療:86%、情報処理:93%、医療情報システム:81%)の精度で回答を生成できた。
