JpGU-AGU Joint Meeting 2017

講演情報

[JJ] ポスター発表

セッション記号 M (領域外・複数領域) » M-GI 地球科学一般・情報地球科学

[M-GI30] [JJ] 情報地球惑星科学と大量データ処理

2017年5月22日(月) 15:30 〜 17:00 ポスター会場 (国際展示場 7ホール)

コンビーナ:村田 健史(情報通信研究機構)、大竹 和生(気象庁気象大学校)、野々垣 進(国立研究開発法人 産業技術総合研究所 地質情報研究部門 情報地質研究グループ)、堀之内 武(北海道大学地球環境科学研究院)

[MGI30-P02] 長距離広帯域ネットワークにおける遠隔高速ストレージシステム(HbVRS)実験

*村永 和哉1山本 和憲2村田 健史2水原 隆道3建部 修見4田中 昌宏4木村 映善5 (1.株式会社セック、2.情報通信研究機構、3.株式会社クレアリンクテクノロジー、4.筑波大学、5.愛媛大学医学部)

現在、多くの科学研究分野ではデータのほとんどがデジタル化され、その量および種類は大規模化の一途をたどっている。これからますます大規模化・複雑化するデータ指向型科学時代を踏まえて、ビッグデータ処理がより容易に、また一元的行うことができるクラウドシステムが求められている。NICTサイエンスクラウドは、地球惑星科学を含む様々な科学研究データおよびソーシャルデータのためのクラウドシステムである。NICTサイエンスクラウドでは(1)データ通信技術、(2)データ保存技術、(3)データ処理・可視化機能の3つの柱(機能)から構成されている。それぞれの機能についての基盤技術を開発するだけではなく、複数の基盤技術を組み合わせる(マッシュアップ)ことでシステム化を行うことができる。システムを実際に科学研究に応用・適用することで、様々な分野でのビッグデータ科学・データインテンシブ科学が可能となる。
筆者らはNICTサイエンスクラウド上で(1)および(2)の基盤技術をマッシュアップした技術として、高速仮想遠隔ストレージシステム(HbVRS)について議論する。(1)については、情報通信研究機構ではUDPをベースとした独自の高速データ通信プロトコルHpFPの開発を行っている[1]。HpFPは他の高速TCP通信プロトコルと異なり、(2)については筑波大学では並列分散ストレージシステムとしてGfarmの開発を進めており、並行してGfarmによる分散処理スケジューラPwrakeを公開している。HbVRSは両者を融合することでI/O分散とデータ伝送を連動する遠隔高速ストレージシステムである。本稿では、HbVRSの高速化技術について紹介する。