2018年04月23日

論理的思考力講座(6):感度・特異度・正確度(2)

 ども勉三です。前回(第5回)は、感度・特異度・正確度の3つの指標について説明しました。これらの指標は、判定や予測を行うもの全てに対して適用できます。前回は癌の診断をもとに解説しましたが、天気予報、地震予測、景気予測、あるいは最近の人工知能で流行りの画像判定など、二値で予測するものであれば何に対しても使えるのが強力なところです。

 なお、二値で予測するというのは「陽性か陰性か」「起きるか起きないか」のように、その予測系がYesかNoかのどちらかの答えを返すということです。前回の癌の診断装置などはまさに典型例といえます。こう説明すると、「天気予報は晴れ・曇り・雨・雪など二値じゃないじゃないか」と思われるかもしれませんが、例えば予報結果を晴れとそれ以外に分類してしまえば、天気予報がどの程度晴れを正確に予測できるかの検証は同様にできることになります。同じ手順を繰り返せば曇りや雨についての精度も検証できるでしょう。このように結果が必ずしも二値でない予測系についても、工夫することで適用が可能となります。

感度と特異度に大きな差がある場合

 前回の例では感度と特異度はともに9割近くでほぼ差はありませんでしたが、予測系によっては感度と特異度に大きな差があることがあります。例えば、A社の癌の診断装置は、感度99%だが特異度50%の性能だとしましょう。これは「癌を持つ人を装置にかければ、99%の確率で癌だと診断できる」ものの「癌を持っていない健康な人を装置にかけると、50%の確率で癌だと誤って診断してしまう」という意味になります。

 この装置は健康診断などでは使い物になりません。何故なら、健康診断を受けるのは健康な人が殆どだからです。その健康な人たちの半分以上を癌と診断してしまうのですから、検査の意味がありません。確率5割というのはコイン投げをするのと同じです。予測していないのと同じでしょう。

 しかし、この装置が無意味かといったらそんなことはありません。例えば、他の検査で癌が疑われる人に対して、このA社の装置で「本当に癌なのか?」を最終診断することができるでしょう。このように、最初の検査では高感度な検査を行い、次の検査ではA社装置のような高特異度な検査を行うといった具合に、検査機器の性能の特性に応じて使い分けをすることで、より癌患者を取りこぼさずに診断できるようになるのです。

正確度99%の超高性能診断装置だと思ったら…

 前回、感度と特異度の他に正確度と言う指標もあることを説明しました。「感度とか特異度とか使わなくても、正確度だけで十分じゃね?」と思った人もいるかもしれません。しかし、正確度には大きな落とし穴があるのです。例えば、正確度99%と宣伝しているB社の癌の診断装置があったとします。しかし実際に蓋を開けてみると以下のようになっていたらどうでしょうか?

005_6.gif

 正確度は、9900÷10000ですから確かに99%です。しかし、実際にはこの診断装置はどんな検体を測定してもNegativeとしか判定しないガラクタです。なぜこのようなことが起きるのでしょうか?

 理由としては、正確度は集団の構成に左右されるためです。例えば、癌患者のように集団の中で非常に限られた割合しかいない場合(この例だと1%ですが実際にはもっと少ないでしょう)、正確度は陰性と判定しやすい診断装置に有利になります。なぜなら、陰性と判定していれば集団の大多数を占める健康な人に対しては正解で、ごく一部でしかない癌患者への誤判定による成績低下は無視できるからです。

 一方、感度や特異度は集団の構成には左右されない指標です。その癌が集団の0.0001%で限りなくレアであっても、感度や特異度はそれに影響されることはありません。ですので感度や特異度を必ず確認するようにしたほうがいいのです。

 最近は人工知能で癌の診断などがニュースになったりしますが、その精度について一般の新聞では細かく記載したりはしていないことが多いと思います。単に精度と書かれているだけで、それが感度なのか特異度なのか正確度なのか、はたまた別の指標なのかが分からないと、この例のようにガラクタを超高性能マシンだと勘違いしてしまうリスクがあるのです。

スポンサーリンク

.

posted by 勉三 at 20:00 | Comment(0) | 仕事・キャリア
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

※ブログオーナーが承認したコメントのみ表示されます。