測定の信頼性と妥当性とは——数字を信じてよい条件を整理する

測定の結果を見て「この数字は信用してよいのか」と迷うことがあります。この記事は、その問いに答えるための整理です。結論を先に書くと、数字を信じてよいかどうかは、信頼性と妥当性という2つの別々の条件で決まります。どちらか一方が満たされていても、もう一方が欠けていれば、結果は意思決定に使えません。

この記事で「信頼性」と呼ぶのは、同じ対象を同じ条件で測ったときに、同じ結果がどれだけ得られるかという性質です。「妥当性」と呼ぶのは、測りたいものを実際に測れているかという性質です。対象とする測定は、認知機能の測定方法で整理した紙・タブレット・身体を使う測定のように、人の状態を数値にするものを指します。

信頼性と妥当性は何が違うのか

測定の性質を国際的な合意で整理した取り組みに、COSMIN があります。2010年に発表された合意研究では、信頼性を「測定が測定誤差から自由である程度」、妥当性を「測定が、測ろうとしている概念を測れている程度」と定義しています。さらに、時間の経過に伴う変化を検出する能力を、反応性として別に扱っています。

ただし、この合意は患者報告型のアウトカム、つまり本人が回答する質問票を対象にまとめられたものです。反応時間のような実測の指標にそのまま当てはまると断定はできません。それでも、信頼性・妥当性・反応性という分け方は、測定を評価する共通の見取り図として広く参照されています。

信頼性

同じ対象を同じ条件で測ったとき、結果がそろうか。測るたびに数字がばらつく測定は、信頼性が低い。

妥当性

測りたいものを測れているか。結果が安定していても、別のものを測っていれば妥当とはいえない。

反応性

時間がたって状態が変わったとき、その変化を数字に出せるか。

たとえば体重計で考えると分かりやすくなります。毎回きっちり同じ値を示す体重計は信頼性が高いのですが、いつも2キロ軽く表示するなら、体重を正しく測れているとはいえません。反応時間でも同じことが起きます。毎回同じ値が出る課題でも、それが「とっさの判断」を反映しているかは別の問いです。

信頼性は、どう確かめられるか

信頼性の確かめ方は、何のぶれを見るかで3つに分かれます。同じ人を日を変えて測り直す再テスト信頼性、同じ測定者が繰り返す測定者内信頼性、異なる測定者が測る測定者間信頼性です。反応を機器で測る場合は測定者の影響が小さくなりますが、再テストでのぶれは残ります。

結果を表す指標としてよく使われるのが、級内相関係数（ICC）です。Koo と Li が2016年に発表した指針は、ICC には10の型があり、型によって計算の前提と解釈が変わるため、どの型を使ったかを必ず明記するよう求めています。そのうえで、読み手向けの目安として、ICC の95%信頼区間にもとづき、0.5未満は低い、0.5から0.75は中程度、0.75から0.9は良い、0.9超は非常に良いとしています。

この目安には注意が要ります。Atkinson と Nevill が1998年にスポーツ医学の領域で論じたとおり、相関にもとづく指標は、測られた人たちの値の幅に強く左右されます。値の幅が狭い集団では低く出やすく、幅が広い集団では高く出やすくなります。そのため、相関が0.9を超えていても、信頼性が十分だと言い切らないよう研究者に注意を促しています。他の研究の再テスト相関を、そのまま自分たちの集団に当てはめることも、同様に慎重であるべきだとされています。

同じ論文は、別の見方として絶対信頼性を挙げています。これは、同じ人を測り直したときに、数値が実際にどれだけぶれるかを、測定と同じ単位で表すものです。測定の標準誤差、変動係数、一致限界といった指標が使われます。「前回より10ミリ秒速くなった」と言いたいとき、知りたいのは相関の大きさではなく、測り直しだけで10ミリ秒程度は動くのかどうかです。

ぶれの正体：系統的な偏りとランダムな誤差

Atkinson と Nevill は、測定誤差の主な成分を2つに分けています。1つは系統的な偏りで、検査に慣れることによる学習効果や、疲労の影響が例に挙げられています。もう1つは、生体や機器の変動によるランダムな誤差です。どちらも定量化して、実際の使い道に照らして許容できるかを判断すべきだとされています。統計的に有意かどうかではなく、使い道の要求を満たすかどうかが基準になる、という点が重要です。

反応を測る場面に引きつけると、次のような要因がぶれにつながりえます。いずれも一般的な測定の考え方から整理したもので、特定の機器や課題の数値を示すものではありません。

• 初めて受けるときと、慣れてからの差（学習効果）。同じ課題を繰り返すと、結果が変わりうる
• 測定の時間帯、睡眠、疲労、体調といった、その日の本人の状態
• 測定環境。周囲の音や明るさ、姿勢、使う手の違い
• 説明の仕方や、練習の回数など、手順の違い
• 機器側の要因。表示や入力の遅れ、機種の違い

課題の型で値が大きく変わる点も、見落とせません。反応時間の型（単純反応、選択反応、止める反応）が違えば、同じ人でも値は別物になります。型や条件が違う測定の結果を、そのまま並べて比べることはできません。

妥当性は、どう確かめられるか

妥当性にも、いくつかの確かめ方があります。COSMIN の分類では、内容妥当性（測ろうとする概念を内容が十分にカバーしているか）、構成概念妥当性（他の指標との関係が理論的な予想と合うか）、基準関連妥当性（確立した基準との一致）に分けられます。

認知機能のような目に見えない働きを測る場合、基準となる「正解」が一つに決まらないことが少なくありません。そのため、妥当性は一度の研究で決まるものではなく、他の指標との関係や、集団ごとの違いを積み上げて判断されます。認知機能は注意・反応・判断・記憶といった複数の働きの総称なので、ある課題がそのうちのどれを反映しているかを、課題ごとに見ていく必要があります。

また、妥当性は「何に使うか」とセットで考えるものです。ある測定が、集団の傾向を見るために妥当であることと、個人の状態を判断するために妥当であることは、別の話です。個人に結果を返すなら、その個人の値がどれだけぶれるかまで考える必要があります。

現場で数字を読むときの5つの問い

測定の結果を受け取る側が、専門的な計算をする必要はありません。次の問いを、測定を提供する側に確かめることで、数字の扱い方が決まります。

1. 1何を測っている課題か。測りたい側面と対応しているか
2. 2同じ人を測り直したとき、どの程度ぶれるか。そのデータが公開されているか
3. 3そのデータは、どんな集団・条件で得られたものか。自分たちの対象に当てはまるか
4. 4慣れや疲労の影響を、どう扱っているか。練習の回数や測定の手順は固定されているか
5. 5結果を何に使うか。集団の傾向を見るのか、個人の変化を追うのか

1回の測定結果で個人を判断しないことも、基本です。従業員の反応・判断を測る場面でも、労働安全で反応時間を使う場面でも、測定値は作業や環境を見直す手がかりであり、人を選別する道具ではありません。条件をそろえて繰り返し測り、変化の傾向を見ることで、数字は初めて意味を持ちます。

効果を確かめるときも同じです。認知トレーニングの前後で数値が変わったとき、それが本当の変化なのか、慣れや測定のぶれなのかは、信頼性のデータがなければ区別できません。

• ※ 本記事は2026年10月時点で公開されている資料にもとづいています。
• ※ ICC の解釈の目安は Koo と Li（2016年）が示した一つの基準です。原著は、結果は信頼区間にもとづいて読むこと、使った型を明記することを求めています。分野や目的によって、求められる水準は異なります。
• ※ COSMIN の定義は、患者報告型アウトカムを対象にした合意研究（2010年）にもとづいています。実測の指標への適用は、個別に検討が必要です。
• ※ 測定は状態を数値として把握するためのものであり、疾病の診断や予防、能力の向上を保証するものではありません。結果は健康情報に当たる場合があり、取扱いには本人の同意と事業場内の手続が必要です。