[1M4-OS-14a] AI諸技術の発展に基づく学びのモデルの高度化と展望

[1M4-OS-14a-02] ChatGPTの過剰回答に対する自動フィードバック機構を有する医療面接AI

〇進藤 尚希¹、宇都 雅輝¹ (1. 電気通信大学)

キーワード：教育評価、対話システム、自然言語処理

近年，客観的臨床能力試験における医療面接課題を標準化する手法の一つとして，人工知能技術に基づく仮想模擬患者が多数提案されている．従来手法では，回答ルールの構築に大きな負担を要するルールベースに基づく手法が広く採用されてきた．そこで本研究では，ChatGPTに医療面接課題のシナリオと，患者としての応答の仕方の指示を与えることで，ルールベースを基盤としない仮想模擬患者の実現を目指す．しかしながらChatGPTに基づく仮想模擬患者は，質問では言及されていないシナリオにまで言及した過剰な回答をすることがあり，そのような過剰回答は医療面接試験の目的に適さない．そこで本研究では，二つのBERTを用いて，ChatGPTに基づく仮想模擬患者の過剰な回答を検出し，それらを抑制した適切な回答を再出力させるフィードバックを与える手法を提案する．提案手法の有効性を評価するための4つの症状に関するシナリオに基づく実験では，過剰回答を示した出力の約70％を適切に検出した．また，過剰回答を抑制するフィードバックにより，過剰回答を示した出力の約69％を改善できた．