[M-GI37] 情報地球惑星科学と大量データ処理

[MGI37-04] DIASにおけるリアルタイム地球観測データアーカイブ・処理システムの開発と運用

*生駒 栄司¹、大柳 美佐¹、佐野 仁美¹、玉川 勝徳¹、小池 俊雄²、喜連川 優³ (1.東京大学地球観測データ統融合連携研究機構、2.東京大学大学院工学系研究科、3.国立情報学研究所)

キーワード：地球観測データ, リアルタイムデータ, データアーカイブ, ビッグデータ, ユーザインターフェース

第３期科学技術基本計画の国家基幹技術「海洋地球観測探査システム」の一翼を担うプロジェクトとして2006年に開始されたDIAS(データ統合・解析システム）は、2011年度から文部科学省研究委託事業「地球環境情報統融合プログラム（DIAS-P)」として更なる高度化・拡張が実施され、地球観測データや数値モデル、社会経済データを効果的に統合、情報を融合するデータインフラを構築し、地球環境問題を解決に導く知を創造し公共的利益を創出するシステムとして運用されている。
その中でもリアルタイム・準リアルタイムで観測あるいは生成されるデータの収集・アーカイブとその処理に関しては、そのデータ配信形式の特異性等から通常の地球観測データのアーカイブシステムとは異なる様々な手法が必要とされるため、筆者らはDIAS上においてリアルタイムデータの特徴を考慮したシステムの開発と運用を試行中である。
その特徴として、まず第一に当該データの取得に失敗するとその再取得が一般的に非常に困難である点が挙げられる。例えば気象庁が作成し気象業務支援センターが配信するGPVデータは、そのデータ容量の膨大さから最新１週間分しか配信側に保持されておらず、その期間を終えると配信元から削除され容易には取得が出来ない状態となる。また、リアルタイムライブカメラの画像配信システムにおいては、常に配信側のデータは重ね書きされていることが多いため、次のデータが配信された時点で二度と過去のデータを取得することは出来なくなる。このような取得の失敗要因として取得システム側プログラムの不具合、定期的なメンテナンスに伴う停止、配信システム側の問題、ネットワーク的要因等が上げられるが、いずれにせよ決まった期間内に確実に取得を行うための十分な対策が必要とされる。
第二に、多くのリアルタイムデータは定期的に観測あるいは生成され、次々と新たなデータが配信されるため、その配信間隔時間内にすべての処理を終える必要がある点である。これは一般的なデータアーカイブではあまり考慮されないことであるが、定期的に取得されるデータのアーカイブや配信サービス等を行う場合には、この時間的制限を十分に考慮した処理系を開発しなければならない。併せて、前述のような何らかの原因で取得に失敗し遅れて取得できた場合を想定し、その遅れを取り戻すための仕組みの検討も必要である。
第三にデータの一貫性の確認・欠損等の情報管理が重要となる点である。リアルタイムデータに限らず地球観測データのアーカイブにおいては作成側･配信側・途中経路・取得側それぞれのさまざまな要因でデータが欠損することが考えられるが、当該データを利用する立場としてはそのデータが欠損しているのか、リアルタイムでは欠損していたが後になって配信されたのか、当初からメンテナンス等で欠損することが分かっていたのか等の情報が非常に重要となる。また、国土交通省が配信するXRAIN(XバンドMPレーダ雨量情報）データのように、地域単位で配信されその全国合成を行ったデータを利用する場合などは、時間的完全性のみならず一地域のみの欠損情報の管理等も必要なる。
第四の特徴として、リアルタイムデータをリアルタイムで処理するアプリケーションとの連携を行う場合、特に遅延して配信されるデータに関しての処理プロトコルを含めた検討が必要である点がある。一般的にリアルタイムデータをリアルタイムに用いるアプリケーションは、その結果の即時性が求められる場合が多いため、上述の地域単位での取得のばらつきや同時に利用するデータの同期も含め、処理ポリシーの策定が非常に重要である。
本稿では以上のような点を考慮し、DIAS上で開発・運用を行っているリアルタイム地球観測データアーカイブ・処理システムについて、具体的な例を挙げながらその手法を概説しシステムの紹介を行う。