[M-GI35] 情報地球惑星科学と大量データ処理

[MGI35-P13] HPCと高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験（２）

*山本 和憲¹、村田 健史¹、村永 和哉²、柿澤 康範³、水原 隆道³、高木 文博³、深沢 圭一郎⁴、大吉 芳隆⁵ (1.情報通信研究機構、2.株式会社セック、3.株式会社クレアリンクテクノロジー、4.京都大学学術情報メディアセンター、5.バーチャル株式会社)

キーワード：HpFp、10Gbpsブロードバンドネットワーク、JHPCN

●研究の目的と意義
近年のビッグデータサイエンスを加速するため、2020年度に構築した９拠点をL2VPNで結ぶ全国規模の分散クラウドシステム（JHPCN広域分散クラウド）を活用し、計算機リソースを駆使した各ドメイン分野でのデータ駆動型研究およびアウトリーチを実施する。
●2021年度の進捗状況
①HpFPプロトコルとL2VPN網によるビッグデータ解析のための広域分散クラウド構築と実用性検証、②気象衛星ひまわりデータリアルタイム処理と大規模可視化および地域気象との連携、③映像IoT技術を活用した多地点カメラ画像処理による地域見守り、④時空間データGISプラットフォームを活用した大規模分散協調型可視化のすべての計画について順調に進んでおり、学会発表や論文投稿も積極的に行っている。
●今後の展望
①JHPCN広域分散クラウド性能検証について、当計画の最終目標は、100Gbpsから400Gbps、さらに将来は1Tbpsが予想されるSINETにより高速接続された各拠点計算資源をシームレスに融合利用するシステムの実現である。実用レベルでの広域分散クラウド調査・検討・改善が①の意義である。まず、現状のJHPCNリソース多くが10GbpsのNICを有しているが、2021年度計測ではすべてのノード間通信で10Gbpsを達成できたわけではなかった。2022年度はその原因を調査し、結果を各拠点大学と情報共有するとともに環境改善を進める。また、拠点間では主としてsshfsによる遠隔ストレージ利用がポリシとなっているが、2021年度調査ではこれが高速遠隔ストレージの実現のボトルネックとなっている。2022年度はsshfsの制約がない非JHPCN拠点ノード間でNFSやGfarmなどのプロトコルによる遠隔ストレージ性能を検証することで、近い将来、特定拠点スパコンやクラスタ計算機が別拠点の大規模ストレージ（PBスケール）を直接マウントするための準備を進める。現在の基盤センター運用で最も神経を使うのは大規模データバックアップやシステムリプレース時のデータ継続性担保である。将来、運用面を含めた大学間連携による分散クラウド実現に向けて、2022年度はコールドストレージを活用した遠隔データバックアップとリモートストレージ間データ同期というシステム運用上重要と考えられる2つの実利用実験を行う。
②広域分散クラウド特性を活かした、または広域分散クラウドでないと実現できないドメイン研究として、観測データの逐次処理という新しいスパコン利用形態の模索、拠点間リモートマウントストレージによる数100TBデータを対象としたWebアプリケーション冗長化、グローバル観測と広域分散クラウドの融合、ポストコロナを意識したニューノーマル指向大規模可視化など、JHPCN広域分散クラウドならではのユニークな分散リソース利活用テーマを進める。