[2J6-GS-2] 機械学習: 強化学習と発展 (2)

[2J6-GS-2-02] ベイジアン逆強化学習を用いた異常前兆予測検知手法の開発

〇Malla Dinesh^1,2、木村 友彰¹、曽我部 完²、坂本 克好 ¹、山口 浩一¹、曽我部 東馬^1,2 (1. 電気通信大学、2. (株) グリッド)

キーワード：逆強化学習、ガウス回帰

異常検出で最も興味深いアプリケーションシナリオの1つは、シーケンシャルデータが対象となる場合である。たとえば安全性が重視される環境において、監視センサーにより収集されたストリーミングデータのスクリーニングからリアルタイムで異常が検出された場合、異常な観測を報告する自動検出システムが不可欠となる。しかしながら、これらの潜在的な異常が意図的または目標指向である場合、前兆予測が重要となるにも関わらず、現状では有効な検出手法は確立されていない。そこで我々は、逆強化学習（IRL）を使用した前兆を含めたシーケンシャルな異常検出のためのエンドツーエンドのフレームワークを提案する。この方法は、入力としてターゲットエージェントの行動履歴（他のメタ情報）を取り、IRLを介して推測される報酬関数を推論する。また、行動履歴の特徴を考慮したガウス回帰を基づくベイジアンアプローチIRLを採用する。公開されている実世界のデータに関する実証研究は、提案された方法が異常の特定に効果的であることを示す。