[A-1] 回路とシステム

[A-1-8] A Prototype of Adaptive Partitioning with Order Guarantee for Stream Processing Systems

大濱開, ^○上原剛, 笠松大佑 (創価大)

この講演は本会「学術奨励賞受賞候補者」の資格対象です。

Keywords:ストリーム処理、並列処理、パーティショニング、動的制御、順序保証

ビッグデータをリアルタイムに処理可能なストリーム処理において，並列処理に対する入力データ量の偏りにより性能が悪化する課題に対して，著者らの先行研究ではパーティションを動的に制御することでスループットを改善することを確認した．しかしながら，パーティション間のデータの順序関係が保証されないため，順序関係が重要な処理においては信頼性が欠ける．本稿では，ストリーム処理システムにおけるデータのマージ，ソート処理を用いて順序保証の確保と，処理遅延の抑制を目的とする．試作した実システムを用いた実験結果として，先行研究では約20％のデータが順不同であったが，提案手法では完全に順序関係が保証された．