ストーリー・テリングという言葉には気をつけろ

Beware of ‘storytelling’ in data and analytics - Link

読者の中にはストーリー・テリングという言葉を聞いたことがある人は多いのではないでしょうか。簡単に言うと、データから得られたインサイトを、映画や本などのようにストーリーを組み立てながら受け手の興味を引き起こし、わかりやすく伝えるというものです。これはもともとニューヨーク・タイムスがうまくて、昔からこの業界にも大きな影響を与えているのですが、こうしたジャーナリズムの手法がビジネスでも使えるということでここ10年ほどの間に一つの大きなトピックとなりました。

データ分析の結果をステークホルダー、意思決定者にわかりやすく伝えるというのは重要で、そのためにはこうしたストーリー・テリングの手法が使えるのは確かです。ただ、何でもそうですが、一つのことに集中しすぎて、データ分析を行うにあたって他にもある大切なことが疎かになってしまうと問題です。木を見て、森を見ない、というやつですね。

今日は、マッキンゼーでデータサイエンティストでもあり、ピープル・アナリティクスのディレクターでもある、Keith McNultyが、ストーリー・テリングにデータ分析者が深入りしてしまうことの問題と、データ分析者がとるべきアプローチをまとめていました。

私は個人的には、データ分析を行うものとビジネス側の人間というように、この2つをはっきりと分けた上でそれぞれの役割を定義してしまうことに抵抗があります。また、特にビジネスの世界では、理想論と現実の世界にはいつもギャップが存在するものですので、何が良い悪いと白黒はっきりするものではないと思います。それでも、データ分析を行うにあたっての姿勢を学ぶにはいい記事だと思いましたので、こちらで一部を紹介したいと思います。

以下、要訳

データのプロフェッショナルの主な責任として、データ分析から得られた結果をビジネスリーダーが理解できる形で伝えるというものがあります。私はこれには反対です。データのプロフェッショナルの主な責任とは、自分の専門性をもとにした正しいアプローチを追求し、再現性のあって、信用のおける結果を生成することです。それができて初めて、そうした結果のコミュニケーションを考えるべきです。そして、このことは、ビジネス側の人間も、データ分析から得られる結果を自分で理解できるように努力するべきということを意味します。

以下の3つがここを間違えることで起きる失敗のパターンです。

分析の一部を組織のアジェンダに直接関連づけてしまい、アナリティクスを行う主な理由はすでに決まっているアジェンダを満たすためのナレーションを作ることだと知らず知らずのうちに受け入れてしまう。データ分析は質問にこそ動機づけられるべきであって、組織のアジェンダに動機づけさせられるべきではありません。
データ分析が始まる前から、期待される筋書きがすでに決まっていて、そのことがこの後の意思決定にもバイアスとし影響を及ぼしてしまい、さらに分析者もその筋書きを満たさなくてはいけないのでは、というプレッシャーを感じてしまう。
その分析結果の正確さを様々な角度から質問するかわりに、データ分析の結果をいかにエンターテイメント的にプレゼンテーションするかに多くの時間を使ってしまい、結果として間違った結論を意思決定者に伝えてしまう。

こうした問題に陥ってしまわないためにも、意思決定に関わるデータ分析を行う場合には、私は次の5つの要素からなる、リサーチの現場で使われるアプローチを採用すべきだと思います。

コンテクスト：なぜデータ分析が行われたのかの理由を書き記す。ビジネスや組織がもっている答えるべき質問をはっきりさせる。以前に行われた関連のあるデータ分析の成果を書き記す。データからどんな結論を導き出してもいいということを研究者に保証する。
手法：どういった分析手法が取られたのかを記録する。なぜ特定の手法が取られたかを明確にする。使われた手法の限界と、弱みを提示し、そのことが分析結果の正確さと信頼に与える影響を説明する。
結果：分析を再現可能な形で行う。統計的なスタンダードが使われていることを保証する。こうしたスタンダードが満たされていない特殊なケースは全て記録する。
議論：批評とピア・レビューを可能な限り行う。もしできていないのであればそのことを明らかにする。それまでに行われたデータ分析の結果と比べる。結果から直接導くことのできない結論に関してはそのことを明確にする。特に因果関係がはっきりと確認できない場合は。
結論：結論がしっかりしていて、慎重な検証をすでに終えているのであれば、それをもっとも効果的にステークホルダーに伝えることを考えるべき。もし、まだ何かはっきりしないことがあれば、さらなる分析が必要なエリアを示す。分析結果を必要以上にプロモート（宣伝）するための言葉やグラフィック（イメージ）を使わないようにする。

以上、要訳終わり。

データ分析に関わり始めたり、学び始めたりするときに、ついついこういったストーリー・テリングやデータの可視化といったことに夢中になってしまうことがあります。私も昔そういう時があったので、この気持ちは痛いほどわかります。

これはロー・ハンギング・フルーツ（Low Hunging Fruits、木の低い部分にぶら下がっているので、取りやすい果実のこと。）だからだと思います。人間はどうしても解決しやすい問題からやり始めてしまう習性があります。つまり、色を変えたり、イメージの写真を探したり、イラストを描いたりといった、キャッチコピーを考えたりと、今まで持っているスキルと、どこかのブログで読んだ、ちょっとしたコツのようなものを使って、何かが良くなったような気がしてしまうのです。そして、本来伝えるべきである最も重要なコンテンツ、つまりこの場合はデータ分析より得られるインサイトそのものの質を磨き上げるということを忘れてしまうのです。

例えば、アメリカと日本という2つの市場があって、アメリカのほうが自分たちにとっては大きいというインサイトがデータから得られたとしましょう。その時、本当にその差には意味があるのか、分析の仕方はあっているのか、元になるデータは正確なのか、データの生成のプロセスに問題はないのか、などといったことを調べることに時間をかける前に、どのようにして「アメリカの市場の方が大きいのか」を見せることに時間を使ってしまうというパターンです。

例え分析手法や、その前提が間違っていたとしても、説得力のあるプレゼンテーションによってその分析結果を信用してしまい、それを元にした意味のないディスカッションに時間をかけてみたり、ものすごい額の投資をしてしまっているということはビジネスの現場では多々あります。

やはり、データを扱う以上、最初から難しい部分、つまり分析手法であり、統計的思考法といったスキルの習得に努めることが、長い目で見れば近道であったりするわけで、最終的には自分のキャリアにとっても関わるビジネスにとっても役に立つと思います。