Photo by Sasha • Stories on Unsplash
ほんとうにエビデンスにもとづいた政策などというものは存在しない
最近、2013年にノーベル経済学賞を受賞したシカゴ大学の計量経済学の大御所、ラース・ハンセンから、「エビデンス・ベースド・ポリシーなんていうものはマーケティングでしかない」という強い警鐘を兼ねたメッセージが発信されていました。
日本でもここ数年で「エビデンス・ベースド・ポリシー・メーキング（証拠に基づく政策立案）」という言葉が、とくに大学や官庁などで聞くようになりました。
アメリカで、特にオバマ政権の頃よりデータを使って政策立案をしていくということに力を入れ始めたことによる影響だと聞いております。
それ以前の勘と経験で政策を立案していくのではなく、しっかりとデータをもとにやっていく流れができているというのは素晴らしいことだと思います。
ただこの「エビデンス」つまり日本語で言うところの「証拠」という言葉が独り歩きし始めているようで、「データ」があるのだからそれが「エビデンス」だと捉えられている場合があるようです。
以前にもWeekly Updateを通していくつかの記事でも紹介したように、データは時には、あてにならないものであったり、またそのデータの見方というのが、見る人によって異なったりする、ということがよくあります。それだけに、データを使えば「エビデンス」であるという意見や、「エビデンス」を絶対的なものとして捉えてしまう流れには、少し違和感を覚えずにいられません。
そんな時、アメリカの経済政策という意味では大御所の大学であるシカゴ大学で計量経済学を教えるラース・ハンセン（Lars Peter Hansen）教授が、「ほんとうにエビデンスを基にした政策なんてものは存在しない」というエッセイを最近出していました。
ちなみに彼は、計量経済学の世界では有名なGMM（Generalized method of moments / 一般化モーメント法）、DSGE（Dynamic stochastic general eruilibrium / 動学的確率的一般均衡）といった手法の確立者で、計量経済の分野でそうした統計手法を確立したことが評価されて、2013年にはノーベル経済学賞を受賞しています。
このエッセイは、もちろん経済や政治の分野だけでなく、ビジネスの世界でデータをもとに意思決定を行っている、もしくは行っていこうという人にはぜひ目を通していただければと思います。
「エビデンス」、「データドリブン」、「ビッグデータ」というマーケティング用語についつい惑わされがちですが、彼がこのエッセイの中で主張するように、データではなく、データに意味付けを与えてくれるモデルこそが重要です。ただ、そのモデルにも限界があるのだ、ということをもっと多くの人に気づいてもらえればと思います。
Purely evidence-based policy doesn’t exist - Link
最近、「エビデンス・ベースド・ポリシー（証拠に基づく政策）」というスローガンについて聞かされることがありました。この言葉は、単純なマーケティングの目的以外には不適切で、学問の議論や理解における進歩に対して間違った印象を与えるものです。
エビデンスが重要だと言いたくなるのはわかるのですが、エビデンスそのものが自明であるなどということはまずありえません。ふつうは、そうしたエビデンスを解釈するために、モデリングや概念的なフレームワークが必要となります。言い換えれば、経済学者だけでなく他の人達にとっても、結論を導き出すためには2つのことを必要とします。それはデータと、何かしらの形でデータに意味をもたせるための手法です。
そこでモデリングをすることになります。モデリングは現実の世界で起きていることを理解するのを助けてくれるだけでなく、良い社会を作るために必要なトレードオフについてどう考えれば良いのかを明らかにしてくれます。特にこの後者のことがエビデンスを使って政策を作っていこうとする時に大きな意味を持ちます。
少なくともエビデンスが正確であるということはみんなの共通認識であるとしましょう。そのとき、すべての意見がほんとうにエビデンスに基づくものであれば、なぜ意見が異なることがあるのでしょうか。
みんなが同じ意見に賛成することができないのは、それぞれが異なるモデルを使っていたり、違う概念的なフレームワークを使っているからなのです。それぞれはエビデンスを案内役として使っているのかもしれませんが、導き出される結論がエビデンスからそのまま出されるということはまずありえません。
エビデンスの選択が及ぼす大きなインパクトに関するアルフレッド・マーシャルの1885年の言葉を思い出します。
この世でもっとも無謀で不誠実な理論家とは、事実をもとに話しているだけだと主張しておきながら、気づいてか気づいてないかは別にして、裏で自分にとって都合のいい事実を勝手に取捨選択しているような人たちのことだ。ノースウェスタン大学のすばらしい経済史の学者で、異なる視点を持つJoel MokyrとRobert Gordonの間の最近のやりとりほど、エビデンスに基づく意見の相違をうまく描くものはないでしょう。
以下はMokyrによる、なぜ我々はイノベーションの長期的な展望に対して楽観的になれるのかに関してのコメントです。
将来にわたって、テクノロジーが今まで以上に進歩していくと信じるべきたくさんの理由があります。おそらく最も重要な理由としては、テクノロジーのイノベーションそのものが新たな質問や問題を作り出し、それらを解決するためにさらなるテクノロジーの進化が起きるというものです。
それとは対照的なのが、こちらのGordonによるあまり明るくない分析です。
テクノロジーの進歩がより大きく起きている時期とそうでない時期があるという歴史を踏まえると、成長の上昇と下降は避けられないものです。1870年から1970年の間の進歩は特別で、この時期の多くの発明は一度だけしか起きない類のものであり、それらを除けばあとはすでに限界に達してしまっているのです。Gordonはテクノロジーの進化は前世紀に見られたようなペースで進むことはないと警告します。逆にMokyrは、「確かに前世紀は特別な時期であったわけですが、さらに別の特別なことが、私達が現在予見できない形で将来起きることになるでしょう。この先のテクノロジーによる進歩について悲観的になる理由はどこにも見当たりません。」と言います。
優れた2人の学者が同じ歴史的エビデンスをもとにしているにもかかわらず、2つのことなる結論を導き出しています。なぜでしょう。それは、エビデンスそのものが、彼らの答えようとしている質問に答えることができないからです。そこで、彼らは異なった主観的なインプットをもとに、手元にあるエビデンスから将来に渡って起きるであろうことを推測しようとしているのです。
イノベーションに関するこの二人の議論に興味のある人はこちらの「イノベーションにアメリカの経済を救うことができるか」というビデオを見てみてください。
このように、モデルや、エビデンスの解釈に関して異なった意見が出てくるのは、動的なマクロ経済で起きている現象がじっさい複雑であるからです。金融マーケットを含むマーケットの環境は外部の分析者にとっても市場の参加者にとっても同じように複雑です。私や他の人達が直面するモデリングの難しさは、私達の「理解の限界」を意味のある形で認識し、捉えることができるように、どうモデルに組み込むのかということであり、さらにこうした「理解の限界」が市場や経済にあたえる影響を理解しなければならないということなのです。
様々な事象に対する実験的なエビデンスを手に入れることはできますが、物理学や生物学のようなサイエンスの分野と違い、マクロ経済学の分野では行うことのできる実験には限りがあります。
集計した時系列のデータやミクロ経済のクロス・セクションのような中に捉えられたエビデンスは確かに有効です。しかし、重要な政策に関する質問に答えるためにはこうしたエビデンスをモデルや概念的なフレームワークを使って意味のあるものにする必要があります。
現在の政策とは別の政策を評価したいという場合がよくありますが、そうした場合に使えるデータはあまりなく、あったとしても限界があるものです。
エビデンス、つまり経済データはいくつかの条件の結果として何が経済に起きたのかをある程度説明することはできます。しかし、モデルを使うことで、例えば違う政策といった異なる条件の元で起きるであろうことと、現在実際に起きていることを比較することができるようになります。
こうした比較を可能にしてくれるフレームワークなしでは、データはただ単に過去に起きたことをノートに取ったようなもので、ほとんど使い物にならないでしょう。
結局モデルとは、私達を取り巻く経済環境のもとで、政策の変更案といった仮説がよりよいものなのかどうかを調べるために使えるツールということなのです。モデルの選択は分析において致命的に重要なインプットであり、それゆえ、最終的にどの政策を採用することになるのかということに対して大きなインパクトを持つのです。
経済学者が行える実験は限られていますが、政策立案者はたまに実験を行うことがあります。多くの場合がたまたまなのですが。私は過去にラテンアメリカの財政、金融の歴史に関するプロジェクトを監督することがありました。これらの国々は地理的に似ていて、文化的にも似ているにもかかわらず、マクロ経済は大きく異なっていました。政策と経済の結果が異なるこうした国々の全てを理解するためには概念的なフレームワークが必要になります。そうでもしなければ、コロンビアを説明するためのシナリオ、ブラジルを説明するためのシナリオ、アルゼンチンのためのものといったことになってしまうからです。こうしたエビデンスの全てから何かを学び、財政と金融政策がどう影響し合うことになるのかを考慮する時には、フレームワークが必要になるのです。
みんながもっと同じようなモデルを使うようになれば、政治家やアドバイザーの人々の間での言い争いが減ることになるかもしれません。しかし、それでは経済学がサイエンスとして役に立つということにはなりません。モデル、少なくともモデルの中の特徴は多くの人たちに受け入れられたとしても、それでもまだ間違っているかもしれないのです。
全ての経済学者が2008年の金融危機の大きさに驚いたことを思い出してみてください。FRBやヨーロッパの中央銀行をアドバイスしている中央銀行の研究部門が、金融危機の前に使っていたようなモデルは、金融機関の役割を後追いなものとして捉えていました。金融マーケットはその時点での状態を表す指標として捉えられ、重要なマクロ経済的な影響を引き起こすようなものとは捉えられていませんでした。実際、多くの人たちはアメリカのような経済圏では金融危機なんてものは、すでに過去のものだと思っていたのです。
もちろん、こうした見方を持っていた人たちにとっては、例の金融危機は、眠りから急に起こされるようなイベントだったわけです。
経済学者たちの多くは、自分たちはこの危機を予測していたと言うかもしれません。そんなときは彼らに以下のような質問を聞いてみましょう。
「この危機の大きさを予測できていましたか？」
「危機が起きると予測したうちで、実際には起こらなかった数はいくつくらいありましたか。」
たとえこの金融危機を予測できていたと言うものでさえ、それがグローバル経済に与える影響がどれだけ破壊的だったかということを予測できていなかったはずです。
エビデンスを解釈して行動に移すには、何らかの理論的なフレームワークに頼る必要があるが、ここで問題があります。
そもそも完璧なモデルなんていうものを構築することができた人はいないし、これからもいないのです。モデルは単純にすることであり、概念にすることなのであって、現実世界を完全に表現することではありません。
どんなモデルでも定量的な重要な間違いをおこす前に、どれくらいの間使い続けることができるのかという限界に関する不確実性がふつうはあるのです。完全に表現できていないからといってモデルを批判するのはナイーブですが、しかし同時にそうしたモデルを使うときには潜在的な限界があるということを常に気に留めておくべきなのです。
エビデンスそのものは全ての質問に答えることができないということを理解しておくことは、データをもとによりよい社会を作っていく上で重要です。私達は現在、一見データが豊富にあると感じるような世界に生きています。大量のデータを収集することができるし、そうしたデータを貯めて、処理することのできる強力なハードウェアもあります。さらにそうしたデータからパターンを発見するための機械学習の手法も持っています。
しかし私達が直面する重要な問題の多くは、根本的にダイナミックな問題です。そうした問題のいくつかの領域では私達の知識というのはたいへん限られています。
公共政策に影響力を持っている、もしくは持ちたいと思っている人たちの多くは、ふだん私達は不完全な情報をもとに分析をしているのだという事実を認めたがりません。
彼らによると「そうしたあいまいさは、一般市民やそうした人たちを代表するはずの政治家には受け入れられない」と言うことなのだそうです。政治家や政策立案者は政策のもたらす結果に自信を持っているふりをします。たとえそうした自信を持つことができないはずの場合でも。結果的に、自信のある答えを提供しようと前に進み出てくる人たちがあとを絶ちません。
フリードリヒ・ハイエクがこのことについて彼のノーベル賞の授賞式のときのレクチャーで警告しています。
一般市民にとって人気のある希望を満たす形で、サイエンスに達成してほしいと期待するものと、サイエンスが実際に実現可能なものとの間の衝突は深刻な事であり、例えほんとうのサイエンティスト達が人類の関わることに関して彼らができることの限界を認識していたとしても、一般市民のもつサイエンスに対する期待のレベルが上がれば上がるほど、多くの人が持つ希望をサイエンスがかなえることができるのだ、というふりをする人が出てくるのです。ひょっとしたら本気で信じている場合もあるのかもしれないが。気候変動やその経済的波及効果には私達が完全に理解できていない側面があります。経済データからのいくらかのエビデンスはあります。気候サイエンスからのいくらかのエビデンスもあります。しかしどちらの場合も、今日の人類の行動が将来の気候や社会に与える正確なインパクトという点において、エビデンスが自明だということではありません。
そこで、モデルを使って私達の理解が足りていない部分を埋めようとしているのです。
もちろん、そうした気候に対する被害を防ぐために、どれくらいの被害が出るのかを正確に理解する必要はありません。分かるまで待つというのは大きな社会的なコストにつながります。悪い結果になる可能性があると知っていることは、今日、行動を起こしたいと考えるには十分である。
しかし、「私達は実際のところ気候システムや気候変動による経済インパクトを完全に理解できていない」と言うことは、一般市民の注意を紛らわすことになると主張する人達がいます。彼らは、もし私達がこういうことを一般市民に知らせると、気候変動の問題を解決するために必要なことが何一つとして行われなくなってしまうと感じているのです。
私はこうした議論に憂鬱になります。賢明でスマートな意思決定には完全な知識は必要ありません。必要なのは、あなたが不確実性を考慮し、それがもたらす結果を事前にしっかりと考えるということなのです。不確実だからといって、完全に確実になるまで単純に腕を組み、目をつぶって何もせずに待っていろと言っているわけではありません。経済学の分野ではそんなことをしていたら一生待ち続けることになるでしょう。
実際にはわかってないのにもかかわらず、わかっているふりをして、アクティビストのような政策の処方箋をデザインするということは、実際には害になりうるのです。
以上、要訳、終わり
あとがき
本文の中でも言われていたことですが、サイエンスを知らない人ほど、サイエンスを何か絶対的な神のようなものと捉えてしまう人が多いです。
そうすると、気候変動といったトピックに関する議論も、宗教論争のようになってしまい、信じるか、信じないかという議論に終始してしまうことがあります。
サイエンスとは間違いがあるかもしれないということからスタートするものであり、まずは理論よりも、現実に起きていることを観察し、そこから仮説を作り、最終的には理論にしていこうというプロセスです。そしてその後も、そうした仮説なり理論が間違っているのかどうかをしっかり判断できるような指標を持っておこうとするものです。
こうした理解は、データを使ってビジネスの改善をしていくためには必須となります。逆にこのことを理解しないままに、データを使ってビジネスの意思決定を行おうとすると、結果が出ないばかりか、逆にデータを使わないほうが良かったという事態になりかねません。思ったような結果が出ない時に、なぜなのかの調査ができないからです。
私は「エビデンス」だとか「データドリブン」という言葉が使われだしている事自体は素晴らしいことだと思います。それ以前は、「勘と経験」だったわけですから。
しかし、そこからさらにもう一歩進んで、もっと多くの人が「データ・インフォームド」な意思決定、つまりデータをもとにモデルを作ることで、因果関係に関する仮説をたて、さらにモデルの限界を理解した上でスマートな意思決定を行っていけるようになればいいな、と思います。
そうすることで、もちろんビジネスが改善すればいいですが、それ以上に社会がいい方向に進化していくのではないかと思うのです。
アナリティカル・シンキング・セミナー開催
この3月に東京でデータサイエンス・ブートキャンプ・トレーニングをおこないますが、その途中の13日（水）の夜にセミナーをやります。
ビジネスの問題をデータサイエンスを使って解決していくためのフレームワークであるアナリティカル・シンキングの紹介と、それをセールス・マーケティングの分野に適応したユースケースの話をします。
データ分析に興味のある方はぜひ参加を検討してみてください。詳しい情報はこちらのホームページにあります！