[S-TT60_30PM2] ハイパフォーマンスコンピューティングが拓く固体地球科学の未来

[STT60-09] NICTサイエンスクラウドによるビッグデータ処理技術

*村田 健史¹、渡邉 英伸¹、鵜川 健太郎²、村永 和哉²、鈴木 豊²、建部 修見³、田中 昌宏³、木村 映善⁴ (1.情報通信研究機構、2.株式会社 セック、3.筑波大学、4.愛媛大学)

現在、多くの科学研究分野ではデータのほとんどがデジタル化され、その量および種類は大規模化の一途をたどっている。これからますます大規模化・複雑化するデータ指向型科学時代を踏まえて、ビッグデータ処理がより容易に、また一元的行うことができるクラウドシステムが求められている。NICTサイエンスクラウドは、地球惑星科学を含む様々な科学研究データおよびソーシャルデータのためのクラウドシステムである。NICTサイエンスクラウドでは（１）データ伝送・データ取集機能、（２）データ保存・データ管理機能、（３）データ処理・データ可視化機能の3つの柱（機能）から構成されている。それぞれの機能についての基盤技術を開発するだけではなく、複数の基盤技術を組み合わせることでシステム化を行うことができる。システムを実際に科学研究に応用・適用することで、様々な分野でのビッグデータ科学・データインテンシブ科学が可能となる。本研究では、NICTサイエンスクラウド上で科学研究のビッグデータ処理を行うための基盤技術について議論する。データサイズが大きい場合にクラウドデータ処理で解決すべき問題点の一つはデータI/Oである。本発表では、分散ファイルシステム（Gfarm）でのデータ読み出し速度の評価を行い、将来の大規模データ処理のためのスケーラビリティーについても検討する。さらに、この高速I/Oを元にしたビッグデータ処理技術について議論する。NICTサイエンスクラウドでは、衛星観測データ処理や3次元シミュレーションデータ処理、3次元気象レーダデータ処理（リアルタイム）等で60倍から100倍を超えるビッグデータ処理の高速化を達成している。この技法は汎用性が高いため様々な研究分野において応用が可能である。