者らはWebベースの高機能電子カルテチャート（以下、AiMeDicsと記す）を開発している。これはHL7 FHIRサーバーから取得した電子カルテの診療情報を多角的かつ俯瞰的に参照することを目的としたアプリケーションであり、７種類のFHIRリソース（Patient、Observation、など）を４つのペインで温度版形式などで視覚的に表示する。
今回、筆者らはAiMeDicsの個々の操作に対してオブジェクト指向的な体系を持つコマンドを定義し、それを軸に、１）入力したコマンドやコマンドを複数集めたスクリプトを実行することにより操作を行う、２）ユーザーが行った一連の操作をコマンドの歴として経過時間と共に記録・ファイル保存し、それを後で再生する、３）入力した音声を音声認識によりテキストに変換し、更にコマンドに変換して実行する、４）実行するコマンドをテキストに変換し、音声合成により読み上げる、といった機能を、Web Speech APIを使用して開発した。その結果、Web Speech APIを利用すれば数行から数十行のコード追加で容易に音声認識や音声合成の機能を既存のアプリケーションに組み込めること、音声認識はクラウドに音声データがアップロードされる課題はあるものの病名や医薬品名、検体検査項目名なども高精度に認識できることが分かった。また、コマンドの内容をテキストとして読み上げる機能は、コメント的な文章を間に挟む機能と組み合わせることで、オーサリング的な使い方もできることが分かった。一方で、スクロールなどの連続的に行われる操作は、記録の際にある程度まとめないとコマンドの歴が膨大になってしまう、などの課題も見つかった。
今後は、ユーザーの操作内容を記録したコマンド歴を、診察内容のレビューなどでの表示や操作の自動化、診療プロセスの解析や定式化、等に活用することを検討していきたい。