[4Rin1] インタラクティブ2

[4Rin1-81] Web画面の画像からアンサンブル学習による画面崩れの自動検出

〇小野塚 荘一¹ (1.日本アイ・ビー・エム株式会社)

キーワード：Webアプリ、畳み込みニューラルネットワーク、ランダムフォレスト、アンサンブル学習、類似度

Webアプリケーション画面のテスト自動化ツールにより，大量のスクリーンショット画像の取得が可能になっている．本稿では，これらの画像から画面の崩れが起きていないことを自動的にの確認（画像検証）する方法を確立した．
画面崩れとは，Webブラウザーの種類など実行環境の違いにより，画面の表示が正常な画像と比較して変化することと定義した．画面崩れはボタンなど小さな領域（小領域）と，画面全体での比較など大きな領域（大領域）での画像検証が必要となる．
実施の結果，小領域は畳み込みニューラルネットワーク(CNN)，大領域はランダムフォレスト（RF）による類似度判定で画像検証が自動化できることがわかった．
さらにCNNとRFを同時に実行するアンサンブル学習によって，目視による画面崩れの調査時間が短縮できることがわかった．