成績は本当に良くなったの?－見かけの成績改善にはご用心

保険研究部主席研究員兼気候変動リサーチセンターチーフ気候変動アナリスト兼ヘルスケアリサーチセンター主席研究員篠原拓也

このレポートの関連カテゴリ

人々が、仕事をしたり、勉強をしたりする際に、ついてまわるのが成績だ。例えば、会社の経営者であれば、自社の今年度の業績はどうか。販売を担当する従業員であれば、今月の売り上げ実績はどうか。学生であれば、2学期の英語の成績はどうか。などと、様々なものが成績の形で評価される。会社の経営者も、従業員も、学生も、みんな自分の成績が気になってしょうがない。

成績が、会社や個人の活力や、やる気を引き出すバネとなることは結構なことだろう。成績向上のために、経営施策を工夫したり、仕事のスキルを磨いたり、勉強して知識を身に付けるのであれば、それは意味があることだろう。しかし、そうした実力の向上ではなく、単に見かけの成績を良くしようとして、いろいろと画策することは空しい。

次のような例を考えてみよう。住宅販売を手がけるある会社は、11の営業支店を持っている。1年間の販売物件数の実績に応じて、上位6つの支店を販売良好グループ、下位5つの支店を販売不振グループに分けていた。ある年、販売良好グループには、180件、170件、160件、155件、150件、145件の物件を販売した支店が入った。販売不振グループには、販売件数が、140件、135件、130件、120件、110件にとどまった支店が入った。

両グループの販売成績を向上させるよう、社長に命じられた営業担当の役員は、妙案を思いついた。それは、販売良好グループと販売不振グループのグループ分けを見直してしまうことであった。

具体的には、145件の物件を販売した支店を、販売良好グループから販売不振グループに移してしまう。そうすることで、販売良好グループの平均販売件数が160件から163件に増えるとともに、販売不振グループの平均販売件数も127件から130件に増える。両グループとも成績が良くなっており、正に、一石二鳥の妙案である。

このグループ分けの見直しは、見かけ上は、両方のグループの販売成績の引き上げにつながった。しかし、それが会社の販売の実力向上につながった訳ではない。このようなグループ分けによる数字のマジックは、表面的な取り繕いに過ぎない。この会社の社長は、このような見かけの成績改善では満足しないだろう。

同様のマジックは、医療に関する統計でも生じかねない。例えば、悪性新生物では、腫瘍の大きさ、転移の程度などにより、I～IV4つのステージが設けられている。IからII、IIIと、進むに連れて、病状はより重くなる。そして、各ステージの患者の5年生存率によって、患者に施された治療法や薬剤などの成績が測定される。

例えば、ある病院で、ある患者が、2つのステージの境界線上にあったとする。この患者は下のステージに入れば、他の患者よりも相対的に容態が重い。しかし、上のステージに入れば、他の患者に比べて病状が軽いことになる。従って、この患者を上のステージと判定すると、下のステージと判定する場合に比べて、上下いずれのステージとも、見かけ上、生存率が上昇することになる。

このように、見かけ上の生存率が上昇する効果を、腫瘍学の専門用語で、「ステージ・マイグレーション(Stage Migration)」と呼ぶ。医療統計を作成する際は、このような効果の有無を把握するために、患者のステージ分布が変化していないかどうかを確認することが、必要とされている。

住宅販売会社の例のように、成績をよく見せようと、意図的にグループ分けを変えるというのは論外であろう。医療統計において、ステージ・マイグレーションが悩ましいのは、誰も意図しないままに、知らず知らずのうちに、このような効果が治療実績に入り込んでしまう点である。ある治療法や薬剤などの臨床試験を行う際には、この点に十分注意する必要があるだろう。

このように、成績自体を気にするばかりではなく、その成績がどのように評価されるのか、どのような意味を持つのか、を考えてみることも重要と思われるが、いかがだろうか。

日付	タイトル	執筆者	媒体
2024/09/03	干ばつリスクへの取り組み－世界の干ばつの影響は日本にも及ぶ	篠原拓也	基礎研レター
2024/08/27	天気予報の平年値－「平年並み」はどう決まっているのか?	篠原拓也	研究員の眼
2024/08/15	気候変動:死亡率シナリオの試作－気候変動の経路に応じて将来の死亡率を予測してみると…	篠原拓也	基礎研レポート
2024/08/13	「空振り」と「見逃し」どちらが問題?－機械学習の評価尺度には人間の感覚が生かされている	篠原拓也	研究員の眼

日付

タイトル

執筆者

媒体

2024/09/03

干ばつリスクへの取り組み－世界の干ばつの影響は日本にも及ぶ

篠原拓也

基礎研レター

2024/08/27

天気予報の平年値－「平年並み」はどう決まっているのか?

篠原拓也

研究員の眼