■本書を何故読もうと思ったのか？
近年、成果主義人事、組織の業績管理やパフォーマンス管理、社会的サービスの成果の測定、さらには行政施策やサービスの評価など、様々な場面で評価指標が作成され、私たちはその数値に一喜一憂させられる機会が拡大してきていると感じることが多いのではないでしょうか。
筆者も組織管理や社会生活の場面で測定・評価に接する機会がありますが、この指標は何を測っているのだろうか、この指標を改善するためには何をどれだけ実行すればよいのだろうか、等考えることがしばしばありました。
このような状況で、測定や評価等に関する海外の書籍がいくつか翻訳されてきましたので、社会事象の測定や評価について、海外の動向を把握したいと思い本書を読み始めました。
著者のピーター・シュライバー氏は、カナダ・カルガリー市の都市計画官です。本書では、「正しい評価指標の使い方」（本書P10）、及び「間違った評価指標を使うときの落とし穴と、評価指標を正しく理解しないことで生じる弊害」（本書P10）を取り扱っています。
■本書を読んで学んだこと
（以下では、筆者が本書を読んで気づかされたり、学んだりしたことを、本書の構成に従って備忘録的に記載してあります。このため、本書を自ら読んで学びたいという読者の方は、この部分は省略して次の■からお読みください。）
第1章 特別試験対策 グッドハートの法則と評価指標に関するパラドックス
金融政策を研究する経済学者チャールズ・グッドハートは、「ある指標が報奨と結びつけられると、人々は自分たちの行動がその評価指標の本来の目的を達成するうえで役立つかどうかにかかわらず、その指標を最大化する方法を見つける」と結論づけ（本書P48）、これが「指標が目的になると、その指標は機能しなくなる」というグッドハートの法則とされています。このことは、「どんな指標も評価指標になると、やがて人々がシステムを悪用することを覚えるので、指標の有効性が失われる」（本書P51）いうことを述べています。そして、人々の悪用の仕方には、「思いもよらぬ方法で行動を根本的に変えて、評価指標の値を最大化することもできるし、行動をまったく変えずに単に評価指標を操作する方法を見つけることもできる。」（本書P51）という2つの対応があることを理解しておくことが大事だとしています。
第2章 努力と成果 ロジックモデルと事業の評価
1970年代以降、非営利団体で事業評価の手法としてロジックモデルが取り入れられ始めました。「ロジックモデルはあらゆる事業を四つの要素に分解する。インプット（もしくはリソース）、アクティビティ、アウトプット、アウトカム（及びインパクト）だ。」（本書P56）とし、「インプット、アウトプット、アウトカムは、曲解され誤用されることがあまりにも多い。」（本書P59）、「インプット、アウトプット、アウトカムの三つが何であり、どう作用し、いつ使われるべきなのかを知ることは、私たちの行動に対する理解を深めるうえで大変役に立つ。」（本書P59）としています。
第3章 不確実な未来 異時点間の問題と時間の軽視
1980年代、実業界において代理人問題が取り上げられました。「代理人問題を考える目的は、代理人（経営者）が依頼人（株主）の利益にために働く方法を見つけることである。経営者が株主の利益のために行動することを、どうすれば保証できるだろうか？」（本書P78）というものです。答えは単純で、「役員報酬を会社の業績と連動させる」（本書P78）もので、「業績を測る正確な方法は、一株あたり利益を用いることでおおむね合意が得られている。役員報酬と利益に連動させる方法はいくつかあるが、その一つは、ある利益目標を達成したら賞与を与えるというものだ。」（本書P78）というようになりました。この一株当たり利益は株価とほとんど同義語になったり、近視眼的なため短期的利益を重視することで「利益調整」を行ったり、過剰なリスク回避や研究開発投資の抑制などが行われるとしています。
科学研究を評価する基準では、計量書誌学という方法論が確立され、二つの主要な評価指標としてインパクトファクターとｈ指数が用いられています。このことにより、研究においていくつかの問題が生じていることが示されています。特に、「基礎研究のアウトカムや時間的経過が予測できない」（本書P99）こと等から「基礎研究の目標がすべてのプロジェクトで成果を出すことであってはならない。」（本書P99）と指摘されています。
第4章 分母と分子 比率の過ち
評価指標を作成し活用する際に、「～あたりの」で示される分母が考慮されていなかったり、間違った使用がなされる場合が多いことが指摘されます。「どんな評価指標でも、その指標の真の目的を達成しなくとも指標の値を改善する方法が考えられる場合、その指標はおそらく間違っている。また、評価指標を改善する唯一のそれらしい方法が、実現不可能か、ばかげているか、逆行的か、あるいは別の評価指標で補う必要があるのなら、その指標は適切に設計されていない可能性がある。」（本書P120）としています。
第5章 木を見て森を見ず 複雑なシステムの単純化
「複雑なシステムの一部だけを測定し、残りを無視した場合に」（本書P121）、「指標を改善することで逆効果となる行動がもたらす場合」（本書P121）について取り上げられます。例として、住宅ローンの貸付要件は、交通費を考えに入れていないため、「世帯の平均通勤距離が延びるにつれて、一般に住居費が減少しているにもかかわらず、住居費と交通費を併せた費用は逆に増加していることが判明した。」（本書P126）ことがあげられています。また、ビジネスの世界で「組織のほかの部分と評価が相反する評価指標は珍しくない。」（本書P126）として、保険業界とコールセンター業界の例があげられています。全体像を描くうえでの大局的な2つの方法として、ライフサイクルアセスメント（LCA）とプラスマイナス指標が紹介されます。「ライフサイクルアセスメントは、何かに入力されるインプットを評価する。」（本書P142）もので、「プラスマイナスは多くの要素を集約しようとする。あらゆることを一つの基準にまとめることが目的なのだ。」（本書P142）とされています。
第6章 リンゴとオレンジ 似て非なるもの
「質的に大きな差があるものが不適切にも一つの評価指標にまとめられてしまうと、何が起きるのか」（本書P145）というテーマでは、病気の問題が取り上げられます。がんの死亡率が上昇しているのは、がん以外の病気で死ぬ人が減ったのであるとのことで、病気の評価について、従来の死亡率、罹患率、有病率だけに頼る考え方が見直されるようになってきました。障害調整生存年（DALY）、その逆の指標である健康度調整平均寿命（HALE）により年齢ごとの死という質を考慮することができるとしています。
第7章 数えられるものすべてが大事なわけではない 街灯効果
本章では、警察における犯罪統計システムの欠陥やベトナム戦争における評価指標の失敗が事例として紹介されます。本来求められるのは、「人々が憂慮しているのはさまざまな無秩序状態であり、そこで起きるのはより軽微な犯罪だ。」（本書P168）とされていることを把握することですが、「難しいのは予防行為を定量化できない点だ。今日は強盗を7件防止したなどという数字は存在しない。」（本書P189）といった本質的な問題があります。また、ベトナム戦争の例からは、「明確な戦略と、目的に対する明確な評価が欠如していると、作戦責任者は細かい管理に走る。」（本書P210）といった問題点が指摘されています。
第8章 大事なものすべてが数えられるわけではない 本質を見極める
本章では、「従来の事業活動や管理の多くは、報奨が人々の意欲を高めるという考え方に基づいている。」（本書P218）という業績管理の核心について検討されます。報奨により生産性が向上した場合もあったそうですが、逆に、報奨や外発的動機が仕事に対する内発的動機を損なう可能性（特に公共部門の職員）、社会規範と市場規範、量的規範と質的規範など業績管理の前提が成り立たない場合があることが紹介されます。特に「業績評価指標に対する信仰とそれに関わる報奨で問題なのは、それらが有効に機能するのが、仕事が比較的単純で、アウトプットが簡単に観察でき、品質が問題とならない場合に限られる点だ。」（本書P233）とし、これはほとんどの仕事が肉体労働だった時代に開発されたもので、現在の知識経済にはこの方法がそぐわないとされます。
そして、世の中で最も複雑で影響力の大きい「経済と幸せの指標」（本書P235）に言及されます。GDPは広く使われる評価指標ですが、いくつかの観点からの批判がなされています。一つは、「GDPは基本的にアウトプットの指標」（本書P237）であり、アウトカムについて語らなかったり、経済の隠れた部分（家事、ボランティア活動や余暇、政府によるサービス提供など）の問題です。もう一つは、「大きく質の異なるものを一緒に数えること」（本書P240）で、この理由は「サービスをアウトカムではなく、インプットで測っているため」（本書P240）、「防御的支出と呼ばれるものを他の支出と同じように扱う点だ。」（本書P240）とされています。「自然科学では、測定は計測の問題だった。社会科学では、測定は価値の問題である。」（本書P246）のであり、「評価指標を設計し導入する際に、…最初に尋ねるべき最も大事な問いは『何が重要なのか』である。」（本書P246）としています。GDPの背景にはこのような問題があることを理解しておくことの重要性が指摘されます。
第9章 評価指標と選択
「私たちは評価指標への執着を絶たなければならない。ピーター・ドラッカーの有名な言葉『測れなければ、管理できない』に異議を唱え、考え直すべきだ。」（本書P249）とし、評価指標の問題点を改めて、整理しています。
「複雑性」では評価指標の「単純化が行きすぎると仕組みに対する総合的な理解が失われること」（本書P251）、「仕組みの一つの側面だけに注目することで、残りの側面が軽視されること（次元の喪失）」（本書P251）があげられます。
「客観性」では、評価指標が中立性、公平性、独立性といった価値を与えてくれるが、「現実の世界で客観性を追求すると悲惨な結果を招く場合がある。」（本書P251）として、ベトナム戦争における戦争の定量化、学会での基礎研究の評価、教師の評価等の問題があげられます。また、「何かを測ってそれが客観的だと主張し、測定の『客観性』を盾に反対意見を退けることは決してできない。測定の選択は主観的な意思決定だからだ。」（本書P254）。
「確実性」への願望は、「『具体化』と呼ばれるもので、測っている対象ではなく、指標を現実だと思い始める現象」（本書P257）、「測れないものを無視することだ。測れるものを現実だと信じる一方で、測れないものは重要ではない、さらには存在しないとさえ思い始める。」（本書P258）という問題点をひきおこすとしています。
「信頼」については、「私たちが測定行為を行うかどうかは信頼の有無にかかっている。」（本書P259）と言い、「理解されないことが多いのは、業績の評価指標を導入すると信頼が損なわれる可能性があるという点だ。」（本書P260）としています。
次に本書で示された事例から学ぶべき評価指標に関する教訓が8ページにわたって、14項目述べられています。これらは、評価指標を作成し、活用するものとして十分理解することが求められるものでしょう。
「評価指標がもつ大きな力は、結局、選択に関する力である。」「私たちは結局、自分にとって役立ち、重要で、価値があるとみなしたものを選択しているのだ。」（本書P268）ということが最後の教訓として述べられています。
第10章 終わりではなく始まり
最終章では、習熟学習の例が紹介されます。「従来の学校ではある項目を学ぶ時間が一律で定められている。」（本書P271）のに対し、「習熟学習では決まっているのは生徒が到達することを期待されている学習水準だ。」（本書P271）というものです。これに対応した試験の目的は、生徒に順位をつけることではなく、「生徒が特定の概念を理解しているかどうか、理解するためにもっと時間と復習が必要かどうかを知らせること」（本書P273）であり、「試験は、能力の判断基準ではなく、新たな学びへの出発点なのである。」（本書P273）とされています。
■本書を読んでの感想
本書は、「統計データの落とし穴」というタイトルですが、内容としては評価指標（とりわけ業績評価指標）の正しい使い方、犯しやすい間違いや誤った使い方により生じた様々な問題事例が紹介されています。
本書でも紹介されていますが、著名な経営学者であるピーター・ドラッカーの有名な言葉『測れなければ、管理できない』（本書P249）という考え方は今や社会全体に広がっています。企業の経営管理で行われている測定や評価が、教育や保健医療といった社会サービス分野、さらには行政の分野にまで、取り入れられてきています。
社会や組織におけるマネジメントにおいて、測定や評価は極めて重要な要素であり、これをなくすことはできないと考えられます。ただし、本書に述べられているように、自然科学での測定と異なり、社会科学での測定は「価値」の問題であることに十分留意して、評価指標そのものに対してクリティカル・シンキング（多様な角度から検討し、論理的・客観的に理解すること。下記の注参照）を用いて理解し、判断していくことが重要です。
わが国でも様々な場面で評価指標が活用されていますが、本書で紹介されているような間違いを犯さないよう、作成した評価指標がその目的に照らして適切なものなのかどうか、その活用方法に問題はないかどうか、問題があったらどのように見直していくべきか、といた点を見つめ直してみることが大切でしょう。
注）コトバンク デジタル大辞泉では、「クリティカル・シンキング」を以下のように説明している。
「物事や情報を無批判に受け入れるのではなく、多様な角度から検討し、論理的・客観的に理解すること。批判的思考法。」
（2022年4月23日）
■本書の目次構成
ピーター・シュライバー著、土屋隆裕監訳、佐藤聡訳「BAD DATA 統計データの落とし穴～その数字は真実を語るのか？～」ニュートンプレス、2021年
第1章 特別試験対策 グッドハートの法則と評価指標に関するパラドックス
第2章 努力と成果 ロジックモデルと事業の評価
第3章 不確実な未来 異時点間の問題と時間の軽視
第4章 分母と分子 比率の過ち
第5章 木を見て森を見ず 複雑なシステムの単純化
第6章 リンゴとオレンジ 似て非なるもの
第7章 数えられるものすべてが大事なわけではない 街灯効果
第8章 大事なものすべてが数えられるわけではない 本質を見極める
第9章 評価指標と選択
第10章 終わりではなく始まり
＝＝＝＝＝＝＝＝＝＝＝
↓↓この記事で紹介した書籍はこちら↓↓
↓↓当ブログおすすめ書籍一覧はこちら↓↓
＝＝＝＝＝＝＝＝＝＝＝
コメント