Photo by Carlos Muza on Unsplash

Why you should be data-informed and not data-driven - Link

ビジネスでデータを使い始めるとついついはまってしまう罠として、データに対する盲目な信仰というものがあります。つまり、データが言っているのだから、それは絶対だというものです。これは特にエクセルやBIなどのデータの可視化ツールを使っている人たちによく見られます。例えばバー・チャートで、東部地域と西部地域の売上を見て、東部のほうがいいから東部の方にもっと投資すべき、もしくは西部に対してもっとテコ入れしなくてはいけないと思ってしまったりするわけです。

ただ、データにはばらつきがあるものなので、これはたまたま今月がそうだったのかもしれなく、来月には逆の結果がでるかもしれません。ですから、こうした結果に対して一喜一憂するのではなく、そうした結果が特殊要因（アクションを取るに値する特別なことが起きている）によるものなのか、一般要因（個別に対処できる問題というよりも、システムを変更する必要があるような問題）にあるのかを統計の手法などを使いながら検証する必要があります。さらにそこで見えていないデータは何なのかを含めた、前提となっている背景への理解が必要です。

つまり、データを意思決定に役立てていこうとするのはすばらしいわけですが、ある程度のデータや統計に対するリテラシー、さらに業務知識などを活かすことで、データに踊らされるのではなく、人間の弱さ（勘と経験にはたくさんの勘違いがあります。）を補うためにデータを使うのだという前提でデータを使いこなすことによってはじめて、ビジネスの向上につながるよりよい意思決定ができるようになります。

このことをわかりやすく説明するために、最近私のまわりではデータ・ドリブン（データがドライブする）とは別にデータ・インフォームド（データを知った上で）という言葉が良く使われるようになってきています。

今回は、FacebookのWhatsApp部門のグロースのトップであるUzma Barlaskarがこのことに関してわかりやすくまとめていたので、こちらに紹介します。

以下、要約

データ・ドリブン vs. データ・インフォームド

データ・ドリブンと、データ・インフォームドの違いをはっきりと理解するために、例を使って見ていきましょう。

あなたが、ニュースパブリッシャーだと仮定してみましょう。あなたは新しいニュース記事のタイトルを考えていて、いくつか違うバージョンを用意してテストしてみました。クリックされやすいように大げさにしたタイトルのものがもっともたくさんクリックされたのがわかりました。

データ・ドリブン意思決定の例：クリック数が増加している。訪問数も増加。収入も増加。すごい！私達の重要な指標は全部上がっている。クリックされやすいように大げさにしたタイトルのものを正式にリリースしよう！

データ・インフォームドな意思決定の場合：全ての重要な指標が上がっているので、それはいいことだ。しかし、それらとは逆の動きをするはずの指標はどうなっているのだろう。バウンス率（サイトに来たけどすぐに閉じてしまう率）が上がっている。ということはあまりいいエクスペリエンスではないのでは。

長期的にネガティブに影響するかもしれない指標はどうだろう。クリックされるためだけのタイトルは私達のユーザーにとってほんとに価値があるものなのか。私達のブランドに対する評価が下がるのでは。

ところで、なぜクリックされるためだけのタイトルがうまくいっているのだろうか。ユーザーがどういうことに対して興味があるのかがわかったのだから、ここから得られたインサイトをもとにそういった対象の記事自体を書くべきではなかろうか。

データ・ドリブンな意思決定はデータが意思決定の中心で、主要な、もしくは唯一のインプットです。どのような施策を打てばいいのかデータのみに頼ってしまいます。

データ・インフォームドな意思決定は、様々なインプットがある中で、データは重要なインプットであるという位置づけです。ユーザーに対してあなたはどういった価値を提供しているのかを深く理解するためにデータを使うのです。

先行指標（Leading Indicators）と後追い指標（Lagging Indicators）

例えば、あなたがゲームの開発者だとします。あなたのアプリがどうなのかを計測するための主要な指標としてデイリー・アクティビティとマンスリー・アクティビティ、そしてリテンションがあり、現在新しい機能を開発しているとします。

この変更はゲームをより複雑にするというフィードバックをすでにもらっていたので、A/Bテストをすることにしました。すると先に挙げた指標には特に影響がないということがわかり、特に問題ないということで、そのままリリースしました。

しかし、しばらくすると、ユーザーが到達することのできるゲームのステージが下降していることがわかりました。エンゲージメント率（DAU/MAU)はとくにまだ悪くなっていません。ですが、リリースされた変更は実際ゲームをより複雑にしてしまい、その結果ユーザーはゲームをするのが難しくなったと感じています。その後ユーザーはキャンセルしはじめ、その結果エンゲージメント率も下降し始めました。

この場合、計測できていなかったゲームの最後のステージへの到達度という指標は先行指標であり、エンゲージメント率は後追い指標であったのです。そして、エンゲージメント率への影響が確認できた頃には時すでに遅しとなってしまいました。

プロダクト思考をデータに任せてしまうと

データがあると、最初から最後までのプロダクトのエクスペリエンスのことを考えることなしに、細部の最適化を始めてしまいがちです。たしかにそれはもっともなアプローチのように聞こえるのですが、そうした細部の最適化は全体で見るとマイナスに働くことが多々あります。そして、そうしたマイナスのインパクトに気づくまでに時間がかかってしまったりもします。あなたのユーザーの抱える問題を解決するにあたって、ユーザーへの共感、デザイン、プロダクトに関するセンスはデータとともに重要です。

このソリューションはユーザーに価値を提供しているのか、ユーザーの心理モデルに合っているのか、この変更は全体としてのシステムに対してかみあっているのか、といったことを絶えず質問し続けるべきなのです。

データ・インフォームドな文化の作り方

指標だけをそのまま信じて使うのではなく、どういったユーザーの行動が指標に影響を与えているのかを理解するべきです。どんなA/Bテストの結果の分析でも、どういったユーザーの行動が指標に影響を与えているのかに関して、一通りの仮説を定義するべきです。そして、それらをユーザー・リサーチを通して検証するべきです。

正しく必要なことを計測しているのか質問するべきです。それは先行となる指標なのでしょうか、それとも後追い指標なのでしょうか。一部のユーザーにどういった影響を与えるのでしょうか。計測するにあたって、何が見えてないのでしょうか。そうした点をどうやって補完するのでしょうか。

データの背景を考慮するべきです。このテストをすることがユーザー・エクスペリエンスに与える影響はどんなものでしょうか。システムの中に、これから加える変更以外にどういったことがおきているのでしょうか。

以上、要約終わり

みなさんも、ぜひチャートや指標の数字を鵜呑みにして一喜一憂するのではなく、その裏にある背景や、理解の仕方にも気をつけて、スマートにデータを利用していってください！