[M-GI21] 情報地球惑星科学と大量データ処理

[MGI21-P08] NICT サイエンスクラウドによるリアルタイム高速処理

*村永 和哉¹、村田 健史²、鵜川 健太郎¹、村山 純一¹、鈴木 豊¹、山本 和憲²、長屋 嘉明²、木村 映善³、建部 修見⁴、田中 昌宏⁴ (1.株式会社セック、2.情報通信研究機構、3.愛媛大学医学部、4.筑波大学)

現在、センシング技術等による地球環境計測においてもビッグデータの波が到来しており、センシングデータの有効な解析がプロジェクトの成否を握っているといえる。すなわち、センシング技術とそれにより生成されるデータの処理が連動することが、多くのセンシングプロジェクトで期待されている。センシングデータの特徴は、(1)多くのデータが時系列データである、(2)多くの処理はデータファイル間の依存性がない、(3)多くのプロジェクトで既存のデータ処理アプリケーション・プログラムが用意されておりそれを活用したい、の3点である。NICTサイエンスクラウドではこれらに着目し、MPIのようなライブラリにより既存のプログラムを書き換える必要なく、大規模センシングデータを処理できる技術開発を行ってきた。さらに、それらを科学衛星長期観測データや宇宙環境数値シミュレーションに適用し、ミドルスケールのクラウドシステムであるNICTサイエンスクラウドで100倍から200倍程度の高速化に成功している。本発表では、この技術をさまざまなタイプのセンシングプロジェクトに応用する方法について紹介する。対象とするプロジェクトは、リアルタイムセンシングデータ処理、アーカイブされたセンシングビッグデータ可視化、気象衛星データリアルタイム処理などである。