[M-GI27] データ駆動地球惑星科学

[MGI27-18] 深層学習による生成モデルの自動構築

★招待講演

*樋口 知之¹ (1.統計数理研究所)

キーワード：深層学習、生成モデル、エミュレーション、統計的ダウンスケーリング、潜在変数モデリング、目的特化型計算機

深層学習は、画像・動画処理、音声処理（認識）、自然言語処理の3分野では、それまでの機械学習の諸手法を、圧倒的性能により凌駕し、その計算プラットフォームもさまざまな企業から無償で提供されている。有力な統計的機械学習技術が競合していた、それまでのある種“長閑な”時代が一変してしまった。データを有効活用するための推論技術の背後にあるのは帰納法であり、帰納法の基盤となるのは統計学およびその周辺数理である。統計の研究者からすれば、深層学習は非線形関数の1つに過ぎず、内在するパラメータ推定（学習）にまつわる帰納法由来のさまざまな問題を避けて通ることは決してできない。ではなぜ、深層学習はここまでの成果を挙げ、そして多くの若者を虜にしたのであろうか？深層学習の強みは、ビッグデータの登場により、人工知能技術の「度量衡」的性質を持っているためにある、と筆者は考える。この「度量衡」により、深層学習は、少なくとも画像・動画、音声、自然言語の3つの情報処理分野においては常套手段となり、適用にあたり深い数理的考察を不要とするまでのコモディティとなっている。さらには、近年、深層学習の利用形態が、識別モデルから生成モデルの構築へ移行しつつある。生成モデルを手にするメリットは、データの欠損・異常値処理、リスク解析、ベイズの定理を用いた逆解析など広範囲に渡る。地球・宇宙科学にとってもその有用性は極めて高い。今後、深層学習研究のターゲットは、生成モデルの自動構築に向かうものと筆者は予想する。

深層ニューラルネットは、これまで識別モデルとして利用されることが多かったが、生成モデルに利用する研究もこの2～3年とみに盛んである。その理由は、結果の可読性とスモールデータへの対応といった深層学習における「弁慶の泣き所」の克服にある。結果の可読性とは、パラメータ推定やネットワークの構造学習（モデルの選択）などのデータからの学習結果を、“人間”が理解しやすいかどうか、を意味する。具体的には、深層学習はブラックボックスであるため何がどう効いているのかよく分からないが、線形回帰モデルのようなシンプルな統計モデルは変数間の関係が明示化されているため“からくり”が見える、と、よく言われる話である。もう1つのスモールデータの取り扱いに関する課題は、これもよく知られた、深層学習が膨大なデータを必要とする点である。その場合、データを模擬的に大量発生することが有効でシンプルな解決策である。本講演では複数の技術をとりあげながら、深層学習適用の今後の有望分野について述べる。