[2E4-GS-6] 言語メディア処理

[2E4-GS-6-04] 深層学習による自然言語処理：原理と限界、応用上の留意点

〇菅 和聖¹、吉田 光男² (1. 日本銀行、2. 筑波大学)

キーワード：自然言語処理、深層学習、セキュリティ

本稿では、自然言語処理を行う深層学習モデルに利用される技術的要素や概念、同モデルの研究開発および普及を後押しした要因を整理する。そのうえで、同モデルを実務で活用する際の留意点を考察する。深層学習モデルによる自然言語処理は、それ以前の自然言語処理の性能を多くの課題で凌駕することが経験的に知られている。こうしたモデルは、分散表現や注意機構等の要素技術や概念の巧みな組合せにより実現される。同モデルの研究開発への参入障壁は、汎用の事前学習済みモデルの普及、End-to-End学習によるパイプライン構築の容易化により低下している。また、形態素解析ツールやコーパスなどのリソースを無償で公開するアカデミアの慣習や、テキストデータの自動収集にかかる法規制の緩和もモデルの研究開発および普及を後押ししている。自然言語処理を行う深層学習モデルを実務に活用する際には、倫理的な表現の配慮が求められるが、倫理に関する普遍的な規範はなく、万人に適した対応は困難である。このほか、自然言語処理を念頭においた機械学習に特有の情報セキュリティ・リスクに注意する必要がある。