[4N2-GS-10] AI応用：認知・言語モデル・テスト理論

[4N2-GS-10-01] Capture The Flagにおける大規模言語モデルの応用

〇佐竹 達也¹、大塚 玲¹ (1. 情報セキュリティ大学院大学)

キーワード：大規模言語モデル、ChatGPT、サイバーセキュリティ、Capture The Flag、自律サイバー推論システム

近年,GPT-3をはじめとする大規模言語モデル（LLM）が自然言語処理において目覚ましい成果を挙げている.この成功の要因は,膨大なパラメータ数を持ち,自己回帰型の学習によって大量のテキストデータを統合し,多岐にわたる自然言語処理タスクに対応可能になったためである.また,最近では,LLMを司法試験や医療免許試験などの難関試験に応用し,従来の受験者平均を上回る成果を出す研究が行われており,高度な知識が必要な分野においてLLMの応用が期待されている.我々は,これらのLLMがサイバーセキュリティ分野にも応用可能であると考えている.本研究の目的は,Capture The Flag（CTF）におけるLLMの利用を通じて,自律的なサイバー推論システムの可能性を探ることである.具体的には,OpenAIが開発したChatGPTを,Zero-round,Few-rounds,Failureの3つの指標を独自に設定して,picoCTF2022の問題を解決することを実験した.結果として,ChatGPTは全64問中48問のフラグを獲得することに成功し,全参加者7794人中575位という成績を収めた.