[M-GI34] 情報地球惑星科学と大量データ処理情報

[MGI34-P06] HPC と高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験（１）

山本 和憲¹、村永 和哉²、*村田 健史¹、深沢 圭一郎³、樋口 篤志⁴、南里 豪志⁵、川鍋 友宏⁶、大吉 芳隆⁷ (1.情報通信研究機構、2.株式会社SEC、3.京都大学、4.千葉大学、5.九州大学、6.理化学研究所、7.バーチャル株式会社)

キーワード： 学際大規模情報基盤共同利用・共同研究拠点、クラウド

筆者らは2018年より学際大規模情報基盤共同利用・共同研究拠点プロジェクトにおいて、HPC と高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験を進めている。2020年度までに、独自開発の高機能通信プロトコルHpFPを用いて 高速ネットワークバックボーンであるSINET・JGNを介して各拠点大学（東北大、東京大、名古屋大、京都大、九州大）および研究拠点（千葉大、筑波大、信州大、情報通信研究機構）の情報基盤センター間で高速にデータ転送や共有を行うL2VPN網サービス（JHPCN広域分散クラウド）を構築した。さらにこの環境の性能検証を行い、拠点間でのデータ伝送速度が一般的なLAN環境程度またはそれよりも高速に実現できることを確認した。これにより、研究者は、各研究拠点の巨大な計算機リソースを自由に活用でき、これまでにないビッグデータサイエンスの実現が可能となった。特に、巨大な気象衛星データを国内外に公開するWeb開発や膨大なデータ量である映像IoTデータ解析などで効力を発揮している。

　上は2020年度までに構築したJHPCN広域分散クラウド（一部構築中）である。スパコン1台、ストレージ3PB以上（Gfarmストレージを含む）、CPU300コア以上（GPU計算機含む）、Webサーバ4台以上という構成であり、仮想的なLAN上で共有されている。このような広域クラウドではデータ通信速度が重要となるが、拠点間でのデータ転送速度やデータの読み書き速度は100MB/秒を超えており、安価なPC等よりも高速にデータを扱うことができる。この基盤となるHpFPプロトコルは2020年SC ASIA20において国際広域ネットワークで優れた成果を達成したことによりExperimental Excellence Awardを受賞した。発表ではJHPCN広域分散クラウドの活用事例として、気象衛星ひまわりデータの国内外での広域展開を紹介する。JHPCN基盤を活用したひまわりリアルタイムWeb（https://himawari.asia）は2019年度宇宙開発利用大賞・国土交通大臣賞を受賞した。さらに、この技術をアジア諸国への国際貢献に拡張すべく、現在、L2VPN網拡張によりタイ・フィリピン・台湾への高速リアルタイム気象データ転送を実施している。