[1H4-GS-1c] 基礎・理論：アルゴリズム

[1H4-GS-1c-02] 不定自然変換理論を用いた強化学習での情報転移

〇和田 拓真¹、高橋 達二^1,2 (1. 東京電機大学、2. 理化学研究所 革新知能統合研究センター)

キーワード：強化学習、転移学習、圏論、類推 推論、マルコフ決定過程準同型写像

人間は未知のタスクを解くときであっても，別の領域で培った知識や経験を活用して目の前の多種多様なタスクを効率的に解くことができる．一方，未知の環境中で報酬を手掛かりに方策を学習する強化学習は，別の環境に対する知識を持ち合わせていないため，経験を活かした効率的な探索ができず，多くの試行錯誤を必要とする．このような点を解決する手段として，別の領域で学習した知識を新たな領域に適応させること，すなわち転移学習がある．本研究は，転移の一つのあり方として，類推という認知機能に注目する．類推のモデルの一つに，布山，西郷らによって提案された不定自然変換理論（theory of indeterminate natural transformation，TINT）がある．これは，圏論でいう自明な関手をずらす自然変換を探索することで適切な関手を構築するアルゴリズムである．強化学習にTINTを用いることで，別のタスクで学習した経験と，学習中のタスクの経験の間に対応（関手）を見つけること，すなわち転移による情報取得を活用することで，未知の環境でもより効率的な探索を行うことを目指す．