[1SPM2] チュートリアルセッション
言語モデルと自然言語処理のフロンティア

Sun. Sep 3, 2023 3:00 PM - 6:00 PM 稲盛ホール (芝蘭会館)

座長：下平英寿（京都大）
講師：岡崎直観（東京工業大）

概　要：ChatGPTやGPT-4の登場で「言語モデル」が一躍脚光を浴びているが、その歴史は古くコンピュータの黎明期まで遡る。本講演では、n-gram言語モデルから出発し、単語埋め込み、系列変換モデル、注意機構、トランスフォーマーなどの深層学習ベースの言語モデルの要素技術を概観する。その後、事前学習とファインチューニングによる言語モデルの応用、プロンプトと指示チューニングによる言語モデルの汎用化、思考の連鎖による性能向上、人間のフィードバックに基づく強化学習など、最近の大規模言語モデルが取り入れているアイディアを説明する。最後に、大規模言語モデルが社会にもたらす悪影響に触れ、その解決に向けた取り組みを紹介する。

3:00 PM - 6:00 PM

[1SPM2-01] 言語モデルと自然言語処理のフロンティア

〇岡崎直観¹ (1. 東京工業大)

Session information

[1SPM2] チュートリアルセッション言語モデルと自然言語処理のフロンティア

[1SPM2-01] 言語モデルと自然言語処理のフロンティア

Authentication

[1SPM2] チュートリアルセッション
言語モデルと自然言語処理のフロンティア