データ基盤・性能評価

[T2-A-5-05] Technical Report

大澤 昂太 (株式会社マイクロアド システム開発部)

広告配信業務ではインターネット上で発生する大量のWebリクエストを24時間処理する必要があります。このようなデータの処理量は一日に数TB単位になります。

大量なデータを処理するには量のデータを処理するには1台のサーバでは厳しい場合が多いので、多くの場合分散処理、クラスタ、負荷分散など複数サーバをまとめて処理させるような技術が欠かせません。

弊社では広告配信サーバ、データレイクやDWHに数百台、RDBMSのMySQL、分散ストリーミング処理を行うApache Kafka、In-memoryのKVS型データベースのRedisクラスタなどがそれぞれ数十台程度で構成しています。これらのサーバは性能劣化、同期、トランザクションなどを様々な問題を抱えていて日々対処を行っています。

今回は、大量データを処理する実務の様々なポイントについてついて説明したいと思います。