Japan Association for Medical Informatics

[2-F-1-4] 音声認識技術と自動操作技術を併用した電子カルテ音声入力操作システムの開発

山ノ内 祥訓1, 中村 太志2, 宇宿 功市郎2 (1.熊本大学医学部附属病院総合臨床研究部, 2.熊本大学医学部附属病院医療情報経営企画部)

【はじめに】現在電子カルテシステムは機能が多く操作が複雑化している。利用者の操作習熟に多くの時間が必要で、一つの業務終了に時間を要している。この課題の解決にはユーザインターフェースデザインの再設計が必要であるが、コスト面から困難である。本研究では、電子カルテ自体に手を入れることなく、Speech to Text技術とRobotic Process Automation技術を併用した電子カルテの音声入力と音声操作システムを試作し評価を行うことで解決を目指した。【方法】当院のIBM社製電子カルテシステムを操作対象とした。音声認識はクラウドサービスを用いてインターネット接続PCで音声を文字に変換し、結果をBluetooth通信で電子カルテ端末に送信した。音声操作は電子カルテ端末にMicrosoftのUIAutomationを使用した自動操作プログラムを配置し、受信した結果から電子カルテを操作する仕組みとした。【結果】音声認識は1795字の文章を読み上げたところ94%の精度で行え、入力時間は16%の短縮が行なえた。音声操作はカルテ記載やオーダ入力等の操作シナリオを5本用意し音声による電子カルテの操作を行った。音声のみで完結できたのは2本、途中手入力による補正を行い完結できたのは3本だった。よって音声認識技術と自動操作技術を用いることで、必要最小限の操作で入力操作を完結できることを確認した。【考察】音声によるテキスト入力は、一部認識間違いがあったがキーボードによる補正が少なく実用可能と考える。音声による自動操作は、今回のシナリオ操作はほぼ行えたが、入力中発生する各種チェックや複雑な条件分岐などに対応した自動操作を音声のみで実現するのは困難なことが確認できた。今後は、音声入力化、音声操作化したときのメリット・デメリットを考慮した入力場面に本システムを適用することで業務軽減への貢献が期待できる。