15:40 〜 16:00
[2K5-OS-1a-02] 1秒待つことによるアノテーション品質の向上:作業能力向上と心的負担のトレードオフを考慮した作業環境への介入
[[オンライン]]
キーワード:認知資源合理性、アノテーション、データ品質、メンタルワークロード
統計的学習の技術開発には一般的に、正確にアノテーションされたデータセットが大規模に必要となる。正解ラベルを規定する正解基準が一意に定まっていないタスク、特に医療データのように専門性が高い対象の場合、正解ラベルの規定基準が各作業者のスキルにも依存するため、単にタスクを設定しただけで均一なラベルを大量に得ることは難しい。
我々は、作業者の認知能力を引き出す介入策が経済活動などに活用されていること、また、判断に時間をかけることによる精度と心的負担のトレードオフに着目した。作業者には適切な思考時間が存在するという仮定に立ち、医療画像に異常所見の有無を付与する際に、画像を提示してからある時間、回答できない状態にする介入を検証した。
4つの行動実験(医師(N=634)および看護師(N=651)が対象)において、画像を提示してから1秒間(介入がない場合の思考時間の中央値より短い時間)だけ回答できない状態にすると正答の期待値が上昇した。この介入によって完答者のメンタルワークロードは向上しなかった。
本研究は、人間の認知特性の活用を通じて簡便かつ汎用的な方法でアノテーション品質を向上できることを示した。
我々は、作業者の認知能力を引き出す介入策が経済活動などに活用されていること、また、判断に時間をかけることによる精度と心的負担のトレードオフに着目した。作業者には適切な思考時間が存在するという仮定に立ち、医療画像に異常所見の有無を付与する際に、画像を提示してからある時間、回答できない状態にする介入を検証した。
4つの行動実験(医師(N=634)および看護師(N=651)が対象)において、画像を提示してから1秒間(介入がない場合の思考時間の中央値より短い時間)だけ回答できない状態にすると正答の期待値が上昇した。この介入によって完答者のメンタルワークロードは向上しなかった。
本研究は、人間の認知特性の活用を通じて簡便かつ汎用的な方法でアノテーション品質を向上できることを示した。
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。