人間に近い診断システムを作ることは，人工知
能の医療応用研究として目標として掲げられ，
1970年代から研究が始まり，さまざまなエキス
パートシステムが開発された。しかし，システ
ムが失敗から学習しない等のさまざまな問題が
指摘され，その問題の解決を目指して，オント
ロジー，マルチエージェント，機械学習等の様
々な人工知能の研究分野が生まれた。その中で，
通常の文字記述のデータからの診断モデルの構
築は，1990年代になって機械学習の方法を使っ
て行われ，ルール型エキスパートシステムで使
われるようなルールの導出ができるようになり，
ビジネス領域では，Eコマースの発展に寄与し
た。その後，サポートベクターマシンを含めた
カーネルマシンが2000年代に登場し，特に画像
データに関する識別度の高い分類器ができた。
そして，2010年代後半になって，深層学習のフ
レームワークによって，画像のみならず，音声，
自然言語等のさまざまなメディアに関する分類
システムが極めて正答率の高い形で得られるよ
うになってきており，画像については，臨床応
用も進むようになった。深層学習のフレームワ
ークはその後大きく進化しつつ、自然言語処理
についても，高度な翻訳機能，対話応答のシス
テムの開発が可能となった。しかし，診療とい
う問題解決の場のことを考えると，その場は，
さまざまなメディアの情報を駆使して，正確な
診断と治療が行われており，実際の臨床に近い
情報から診断を行うシステムは，マルチモーダ
ルなデータの学習からなされる必要がある。20
20年代になって，このようなマルチモーダルな
学習に関する情報処理の方法が議論されるよう
になっている。本パネルでは，マルチモーダル
な自動診断システムの開発に向けて，マルチモ
ーダルなデータからの学習方法についての技術
課題の現状について紹介し，今後の問題点につ
いて議論する。