日本地球惑星科学連合2014年大会

講演情報

口頭発表

セッション記号 M (領域外・複数領域) » M-GI 地球科学一般・情報地球科学

[M-GI37_29AM1] 情報地球惑星科学と大量データ処理

2014年4月29日(火) 09:00 〜 10:30 413 (4F)

コンビーナ:*豊田 英司(気象庁予報部数値予報課)、村山 泰啓(独立行政法人 情報通信研究機構)、寺薗 淳也(会津大学)、堀 智昭(名古屋大学太陽地球環境研究所 ジオスペース研究センター)、大竹 和生(気象庁気象大学校)、若林 真由美(基礎地盤コンサルタンツ株式会社)、堀之内 武(北海道大学地球環境科学研究院)、野々垣 進(独立行政法人 産業技術総合研究所 地質情報研究部門 情報地質研究グループ)、座長:大竹 和生(気象庁気象大学校)

10:15 〜 10:30

[MGI37-06] 気象用格子データ形式の比較:気象庁ではなぜ索引付き順番探査を使うのか

*豊田 英司1 (1.気象庁予報部数値予報課)

キーワード:GRIB, netCDF, NuSDaS, 格子データ, 索引付き順番探査

数値天気予報などのシミュレーションで作成される格子点データにはWMO(世界気象機関)標準のGRIB,OGC標準のnetCDF,気象庁内で使われるNuSDaSなど多数の形式がある。Wright and Gao (2008) はデータ形式をファイル構造により順番探査と直接探査に二分し、部分読み込みの高速性とファイルサイズの選択と論じた。しかし気象庁で用いられるNuSDaS(豊田、2001)は索引付き順番探査ファイルであり、高速性とサイズが両立する。これら3分類の性能上の長短を比較した(表1)。現業数値予報でのデータアクセスには、しばしばデータ構造が疎な配列となる、ファイル書き出しは一度に行われて追加が行われない、ファイルの一部を読みだすことが多く性能が問われるという特徴がある。索引付き順番探査ファイルの短所(索引作成)が目立たず、読み書き速度とコンパクトなファイルサイズの両立という利点が享受しやすい。また、将来データサイズが巨大化してゆくと、単純な順番探査は不利になってゆくことも注意される。引用文献Bruce Wright and Feng Gao, 2008: GRIB vs NetCDF: Evaluation of the Technical Aspects. WMO ET-ADRS Doc.2.3(1) http://goo.gl/AFrsls豊田英司,2001:気象庁の数値予報ルーチンで用いられているデータセット形式の紹介.合同大会講演A2-001 http://goo.gl/JE0a3M