チュートリアルセッション
Sun. Sep 3, 2023 3:00 PM - 6:00 PM 稲盛ホール (芝蘭会館)
座長：下平 英寿（京都大）
講師：岡崎 直観（東京工業大）
概 要：ChatGPTやGPT-4の登場で「言語モデル」が一躍脚光を浴びているが、その歴史は古くコンピュータの黎明期まで遡る。本講演では、n-gram言語モデルから出発し、単語埋め込み、系列変換モデル、注意機構、トランスフォーマーなどの深層学習ベースの言語モデルの要素技術を概観する。その後、事前学習とファインチューニングによる言語モデルの応用、プロンプトと指示チューニングによる言語モデルの汎用化、思考の連鎖による性能向上、人間のフィードバックに基づく強化学習など、最近の大規模言語モデルが取り入れているアイディアを説明する。最後に、大規模言語モデルが社会にもたらす悪影響に触れ、その解決に向けた取り組みを紹介する。
3:00 PM - 6:00 PM
〇岡崎 直観1 (1. 東京工業大)
Schedule
Like
)
Abstract password authentication.
Password is required to view the abstract. Please enter a password to authenticate.
Please log in with your participant account.
» Participant Log In