[4H2-GS-11c] AIと社会：技術の活用

[4H2-GS-11c-03] 機械学習システムのセキュリティ・リスクと「障害モード」による分類の有用性

〇菅 和聖¹ (1. 日本銀行)

キーワード：機械学習システム、障害モード、セキュリティ、脆弱性

機械学習は、膨大な入出力データからそれらの関係を自動的に抽出する帰納的な手法であり、これを画像処理などに組み込んだシステム（機械学習システム）の社会実装が進んでいる。一方、機械学習システムには従来の情報システムにはない脆弱性とそれに伴うセキュリティ・リスクが存在するが、その全体像は明確となっておらず、分類方法も確立していない。本稿では、まず、機械学習システムとそのセキュリティ・リスクの特徴について考察する。次に、最近のサーベイ論文を参照しつつ、同システムの主な脆弱性やそれへの攻撃手法を「障害モード（failure mode）」の観点から、(1)外部からの攻撃の有無、(2)脆弱性の所在領域、(3)喪失する機能特性、の3つの軸をもとに分類・整理する。最後に、今後の機械学習システムの活用に向けた留意点を述べる。