Japan Association for Medical Informatics

[3-P-1-05] 医薬品の臨床開発におけるモニタリングレポートを活用した新しい施設評価手法の試み ―機械学習分類モデルによる臨床開発モニターの質的な施設評価の再現―

*Shintaro Tsuji1, Daisuke Kobayashi2, Tamaki Ogino2 (1. IQVIAソリューションズ ジャパン株式会社, 2. IQVIAサービシーズ ジャパン株式会社)

Clinicat trial, Monitoring reports, Machine-learning

背景と目的 近年、製薬企業は、治験を実施する上で候補の医療機関に対する試験実施時のコンプライアンスや、取り扱うデータの質などの「施設の定性的な評価」に強い関心を寄せている。IQVIAではこうしたニーズに応えるため、施設に関する質的な情報を収集するアンケートを臨床開発モニターに対して実施した。しかし、膨大な施設数を対象としたアンケートは、モニターへの負担から頻繁に実施することは容易ではない。そこで本研究では、アンケートで得られた質的評価を回答の得られなかった施設や新規施設に拡張することを目的として、IQVIAに蓄積されているモニタリングレポートとアンケート結果を用いて機械学習の分類モデルを構築し、モニターの質的な施設評価を疑似的に再現した。方法 アンケートで該当した116試験の2,116レコードを対象とした。教師データは、質的な観点からの評価(該当施設=1, それ以外=0)と、モニタリングレポートに記載されているプロトコール逸脱や手続き期限の超過日数などの25項目、治験の治療領域等とした。全データの75%を教師データに、残りの25%を検証データとした。機械学習の分類アルゴリズムはRandom Forestを使用した。モデルによる施設評価は、モニター経験のある複数の関係者から聞き取り調査を実施して妥当性を検討した。結果と考察 テストデータの検証結果は、Accuracy=97.7%、Precision=0.959、Recall=0.886、F1 score=0.921となった。聞き取り調査の結果、構築したモデルは同程度の症例登録が予想される施設選択時に参考する運用上で十分な精度と判断された。本研究結果により、モニターの質的評価をモニタリングレポートのデータから再現し、アンケートで回答の無かった施設や今後新規に追加される施設にも質的評価を行うことが可能となった。