[P-ED-07-3] 臨床実習における臨床技能評価の評価者間信頼性の検証
キーワード:臨床実習, 評価者間信頼性, 臨床技能
【はじめに,目的】近年,療法士養成数の増加に伴い,臨床経験の少ない療法士が急速に増加し,実習指導者の経験年数も相対的に低下している。また,現在の臨床実習では,実習指導者間の評価基準の相違が問題点の一つとして指摘されている。実習指導者による評価は,主観的で評価者の経験による影響を受け易く,信頼性に問題があるとも言われている。しかし,信頼性について効果検証を行った報告は少ない。
そこで本研究では,実習生の臨床技能を段階づけする際の評価者間信頼性を検討した。
【方法】評価者は療法士10名(経験年数4-12年目)とした。実習生が患者に対し,課題を行ったビデオ画像20施行を評価者に観察させ,臨床技能を5段階に段階づけさせた。課題は肩関節外転の関節可動域測定とした。評価する際のポイントは市販の書籍(PT・OTのための臨床技能とOSCE:コミュニケーションと介助・検査測定論)の採点基準に準じて行わせた。段階づけした結果の評価者間信頼性を検討するため,Cohenの一致係数(κ係数)を用いて,完全一致と,1段階のズレを半分一致として重み付けしたκ係数をそれぞれ45組算出し,平均した。さらに評価者を経験年数にて6年以上群5名と6年未満群5名の2群に分け,各々のκ係数10組の平均を算出した。また,各評価者の評点間の相関および差を比較するために,45組のSpearman順位相関係数,およびWilcoxon符号付き順位検定を行った。
【結果】臨床技能評価の一致率はκ=0.08,重み付きκ=0.15であった。6年以上群の一致率はκ=0.24,重み付きκ=0.31,6年未満群の一致率はκ=0.09,重み付きκ=0.15であった。評点に有意な相関を認めたのは14組(31%)であり,有意差を認めた組み合わせは45組中28組(62%)であった。
【結論】本研究より,全体の一致率はslight~fairにとどまり,実習生の臨床技能を段階づけする際の評価者間信頼性は低いことが明らかとなった。6年目以上群において一致率が高くなる傾向を認めたが,評価者間信頼性としては低いことから,信頼性の低さは臨床実習において広く存在する現象である可能性がある。また,評価者間の評点の相関が低く,かつ中央値に有意差を認めた組み合わせが多かったことから,一致率を低下させた要因は各評価者の評価基準が主観的であるためと考えた。本研究では,臨床使用の頻度が高い1課題を検証したが,その他の臨床技能においても同様の現象が起こる可能性があり,更なる検証が必要であると考える。
今後,実習生の臨床技能を段階づけする際の評価者間信頼性を向上させるためには,臨床技能を標準化・細分化し,解釈を統一した上で,明示的な基準を定める必要があると考えられる。
そこで本研究では,実習生の臨床技能を段階づけする際の評価者間信頼性を検討した。
【方法】評価者は療法士10名(経験年数4-12年目)とした。実習生が患者に対し,課題を行ったビデオ画像20施行を評価者に観察させ,臨床技能を5段階に段階づけさせた。課題は肩関節外転の関節可動域測定とした。評価する際のポイントは市販の書籍(PT・OTのための臨床技能とOSCE:コミュニケーションと介助・検査測定論)の採点基準に準じて行わせた。段階づけした結果の評価者間信頼性を検討するため,Cohenの一致係数(κ係数)を用いて,完全一致と,1段階のズレを半分一致として重み付けしたκ係数をそれぞれ45組算出し,平均した。さらに評価者を経験年数にて6年以上群5名と6年未満群5名の2群に分け,各々のκ係数10組の平均を算出した。また,各評価者の評点間の相関および差を比較するために,45組のSpearman順位相関係数,およびWilcoxon符号付き順位検定を行った。
【結果】臨床技能評価の一致率はκ=0.08,重み付きκ=0.15であった。6年以上群の一致率はκ=0.24,重み付きκ=0.31,6年未満群の一致率はκ=0.09,重み付きκ=0.15であった。評点に有意な相関を認めたのは14組(31%)であり,有意差を認めた組み合わせは45組中28組(62%)であった。
【結論】本研究より,全体の一致率はslight~fairにとどまり,実習生の臨床技能を段階づけする際の評価者間信頼性は低いことが明らかとなった。6年目以上群において一致率が高くなる傾向を認めたが,評価者間信頼性としては低いことから,信頼性の低さは臨床実習において広く存在する現象である可能性がある。また,評価者間の評点の相関が低く,かつ中央値に有意差を認めた組み合わせが多かったことから,一致率を低下させた要因は各評価者の評価基準が主観的であるためと考えた。本研究では,臨床使用の頻度が高い1課題を検証したが,その他の臨床技能においても同様の現象が起こる可能性があり,更なる検証が必要であると考える。
今後,実習生の臨床技能を段階づけする際の評価者間信頼性を向上させるためには,臨床技能を標準化・細分化し,解釈を統一した上で,明示的な基準を定める必要があると考えられる。