[1P5-OS-16] OS-16

[1P5-OS-16-01] Investigation of Optimal Network Architectures for Domain Adaptation

〇Keita Hara¹, Taku Yoshioka¹ (1. Laboro.AI)

Keywords:Reinforcement Learning, Control Engineering, Sim2Real, Domain Randomization

強化学習で実環境の制御則（policy）を獲得する際、サンプルの取得が難しい状況がある。この問題の対策の一つとしてdomain adaptationがあり、具体的な方法としてシミュレーション環境による制御則の事前訓練と実環境から取得したサンプルによるファインチューニングがある。Domain adaptationは幅広く研究されているが、actorやcriticを構成するネットワークアーキテクチャについてはあまり注目されていない。そこで、本研究ではdomain adaptationのための最適なネットワークアーキテクチャについて検討する。特に、基盤モデルのファインチューニング手法として広く採用されているLoRAのように、少数のパラメータのみを学習することで事前学習の情報を有効活用できるかどうかに注目し、その有効性を実験的に検証する。