[3-D-2-01] クラウドサーバとオンプレミスサーバを組み合わせたハイブリッドシステムの構築と活用
cloud system, hybrid system, on-premise, L2 VPN, whole genome sequencing
背景:解析機器の進歩によりゲノム解析で生じるデータが膨大となり、ゲノム研究の被験者規模も増大している。当施設はオンプレミスサーバで解析を行なってきたが、機器維持の労力とコストが増大し、管理運用が年々厳しくなってきた。他方、商用クラウドサービスは近年性能や品質の向上が著しく、高い計算能力と高度なセキュリティを持つ環境を提供する。
目的:オンプレミスサーバにクラウドサービスと学内外のスーパーコンピュータサービスを組み合わせたハイブリッドシステムを構築し、活用法を探る。
方法: ①アマゾンウェブサービス(AWS)のSINET接続サービスを用い、自施設LANとAWSネットワークをSINET網で高速接続。 ②自施設ストレージとAWSストレージのAWSへの転送速度を比較。 ③解析パイプライン構築用にコンテナシステム、ジョブ管理用にバッチジョブシステムをオンプレミスとAWSに導入し、スーパーコンピュータを含む三環境で共通の処理が実行可能な体制を構築。 ④自施設で開発中の疾患関連変異検索サービスの本環境への展開方法を検討。
結果: ①SINETの専用VLANを通じて自施設とAWSをBGP対応L3スイッチ(10Gbps)で接続した(L2 VPN)。 ②自施設ストレージ(IBM GPFS)からAWSへの転送速度はAWSストレージ(S3)の転送速度の約2.5倍であった。 ③コンテナにSingularity、ジョブ管理にSlurmを採用し、状況によりサーバを使い分ける体制とした。 ④外部の専門家とAWSで開発後、ElasticSearchによる検索をオンプレミスサーバが、WebサービスをAWSサーバが担当してSINET経由で連携する構成とした。
考察:当施設ではオンプレミスサーバや大学提供の仮想サーバを使用してきたが、今回の仕組みでより柔軟な運用が可能となった。クラウドサービスは従量課金のため費用を見ながら利用範囲を拡げる。
目的:オンプレミスサーバにクラウドサービスと学内外のスーパーコンピュータサービスを組み合わせたハイブリッドシステムを構築し、活用法を探る。
方法: ①アマゾンウェブサービス(AWS)のSINET接続サービスを用い、自施設LANとAWSネットワークをSINET網で高速接続。 ②自施設ストレージとAWSストレージのAWSへの転送速度を比較。 ③解析パイプライン構築用にコンテナシステム、ジョブ管理用にバッチジョブシステムをオンプレミスとAWSに導入し、スーパーコンピュータを含む三環境で共通の処理が実行可能な体制を構築。 ④自施設で開発中の疾患関連変異検索サービスの本環境への展開方法を検討。
結果: ①SINETの専用VLANを通じて自施設とAWSをBGP対応L3スイッチ(10Gbps)で接続した(L2 VPN)。 ②自施設ストレージ(IBM GPFS)からAWSへの転送速度はAWSストレージ(S3)の転送速度の約2.5倍であった。 ③コンテナにSingularity、ジョブ管理にSlurmを採用し、状況によりサーバを使い分ける体制とした。 ④外部の専門家とAWSで開発後、ElasticSearchによる検索をオンプレミスサーバが、WebサービスをAWSサーバが担当してSINET経由で連携する構成とした。
考察:当施設ではオンプレミスサーバや大学提供の仮想サーバを使用してきたが、今回の仕組みでより柔軟な運用が可能となった。クラウドサービスは従量課金のため費用を見ながら利用範囲を拡げる。