要点

まずは、注目する点として以下の点が挙げられます。

• ファイナンシャル・タイムスはメディア企業なんだけど、広告に頼らず購読料に収益の大部分を頼る、いわゆるサブスクリプション・ビジネスである。
• サブスクリプション・ビジネスなので、チャーン（解約）とコンバーション（新規顧客）が最も重要。
• チャーンとコンバーションを早期に予測するために、相関の高いエンゲージメントスコアという指標が使えるということをデータから発見した。
• この指標を全組織、全ビジネスにとってのいちばん重要な指標と位置づけ、全ての施策の成否は、エンゲージメントスコアが上がったかどうかで判断される。
• すべての部門のトップは、この指標に対する説明責任（Accountability）を持つ。つまり営業のトップであれば、なぜこのエンゲージメント・スコアが上がっていないかの説明を求められる。

説明責任

最後の「説明責任」というやつですが、ピンとこない人もいるかもしれません。私も昔はその意味するところがはっきりと実感できていませんでした。

まず、責任と訳されるResponsibilityと、説明責任と訳される、Accountabilityは似ていますが重要な点で違います。

Responsibilityは自分が何をやるべきかの定義なのに対して、Accountabilityは自分が任されたことの結果に対する責任を持つということになります。

そして、その任せられた結果を出せない場合はなぜだめなのかを説明することになるのですが、この説明がうまくできなければ、解雇を含めた何らかの処分が下されます。

組織内の階層を上がっていくことは出世ではありますが、それにともないAccountabilityを背負うことになるので、きびしい現実と向き合うことにもなります。

私もかなり前のことになりますが、オラクルで働いていた時の昔のボスが急に辞めさせられた時に、このAccountabilityつまり「説明責任」てやつを実感することができました。

エンゲージメントを上げるためにどういう施策を打つべきかという司令が彼女のチームからでるわけではないとのことです。 逆にそれぞれのチームが自由にアイデアを出して実行することが出きるらしい。しかし、そうして実行した、または実行しなかったことに対する結果に対する「説明責任」が求められることになります。

エンゲージメント・スコア

彼らにとってのエンゲージメント・スコアとは、RFV（Recency, Frequency, Volume）をユーザーごとに1から100のスケールでつけたものとのことです。

• Recency - どれだけ最近サイトに訪れたか
• Frequency - どれだけ頻繁にサイトに訪れるか
• Volume - どれだけの記事を読んでいるか

広告から収入をもとにしたビジネスモデルだと、クリック数やページビューが重要な指標ということになります。これは、RFVでいうところの、Volumeの部分になります。

しかし、彼女たちは、コンテンツ（記事など）のクオリティを気にしていると言います。なぜなら、クオリティがよければ、ユーザーはサイトに戻ってくるからです。この部分を測る指標がRFVでいうところの、FrequencyとVolumeの部分になります。

彼女たちのビジネスはサブスクリプションをもとにしたビジネスモデルなので、ユーザーに頻繁に戻ってきてもらう必要があるので、これはもっともです。

そして、ここがおもしろいところなのですが、このRFVを理想論的に選んだわけではなく、実際、探索的データ分析をしたところ、彼らのチャーン率と、コンバーション率と相関関係にあるということがわかったそうです。

サブスクリプション型のビジネスであればだれでもユーザーのエンゲージメントを気にしています。例えばFacebookであれば、DAU（もしくはDAUをWAUで割ったもの）、Quoraであれば、質問に答えられた数、Airbnbであれば宿泊が予約された数など。

しかし、このエンゲージメントに関する指標は、それぞれのビジネスにとって最適なものを苦労してでも選ぶ必要があります。その時に重要な尺度になるのは、やはりコンバーション率を上げることに効いているか、チャーン率を下げることに効いているかということになります。

ファイナンシャル・タイムスにとってはこのRFVという指標がエンゲージメントを測るためのもっとも信頼できる指標であり、それによってすべての組織が説明責任を負うトップラインの指標（最も重要な指標）となっているとのことです。

先行指標と後追い指標

ところでなぜ、チャーンやコンバーションをトップラインの指標にしないかと言うと、それらは「後追い」指標だからです。

あるユーザーがチャーンしてしまったのが後から分かってももう遅いですよね。ほぼ何もできません。私達ビジネスに関わる者にとって知りたいのは、チャーンするかもしれないという予兆です。

それに対して、エンゲージメント・スコアは「先行」指標です。この指標の値が下がってくると、まだチャーンしていないがいづれ近い内にチャーンするかもしれないとか、逆に、フリーミアムのビジネスモデルの場合は、この指標の値が上がってくると近い内にコンバートするかもしれないと予測することができるようになります。

つまり、エンゲージメント・スコアというのは顧客の現在の「状態」をリアルタイムでより的確に知ることができる指標なのです。

リアルタイム性のある指標はA/Bテストに効果がある

実は、こうしたリアルタイム性のある指標はA/Bテストをするときにものすごく役立ちます。

A/Bテストは、例えば、AとBという2つのデザインの違うウェブページを用意してどちらがコンバートに効くか、もしくはチャーンに影響するかということを分析するための実験に使われたりします。

ところが、1つの施策がそんなに単純にコンバートやチャーンという結果としてすぐに出てくるとは限りません。例えばデザインがよくなったから、よくサイトに戻ってくるようになって、その後、1ヶ月か2ヶ月後に有料会員としてコンバートするということはよくあります。

また、チャーンの場合も一緒で、例えば、Bのページを見た人がいきなりチャーンをするということはなく、それよりも、だんだんとサイトに戻ってこなくなって最終的に2ヶ月後にチャーンするといったこともよくある話です。

なので、コンバーションやチャーンをA/Bテストの評価指標とするのではなく、それらと相関があり、さらにリアルタイム性のある「先行」指標の存在というのは貴重です。

ファイナンシャル・タイムスの場合はRFVをもとにしたエンゲージメント・スコアを組織のトップレベルの指標として定義することができたので、それをもとに様々な実験（A/Bテスト）を行っているとのことです。

実験の結果

彼女たちがたくさん行っている実験のなかでも特に面白いのが以下の3点です。

• MyFTというパーソナライズされたホームページ
• デザイン
• パフォーマンス

MyFTっていうパーソナルページが86％のエンゲージメントの向上に貢献したとのことです。

そして、他にもデザインに関する改善は実際にエンゲージメント・スコアの改善に役立っているようです。

パフォーマンスの改善はエンゲージメントの改善

いろいろな実験を行った中、一番影響が大きかったのがパフォーマンスとのことです。一度サイトのパフォーマンスを最速になるようにいろいろなものを削ったらしく、その後、ページの表示のスピードを1秒毎に遅くなるようにしたらしいのですが、1秒遅くなると、エンゲージメント・スコアが5％下がるという結果が出たとのことです。

パフォーマンスの改善がエンゲージメントの向上になるというのは昔からよく言われることですが、やはりついつい他の機能追加の犠牲になってしまい後回しになってしまいがちです。

そこで、彼女たちはこの実験結果をもって、プロダクトチームがいつもパフォーマンスの向上と維持にトップ・プライオリティを与えるようしているとのことです。

ビジネスの改善に役立つのはAIではなく、ディシジョン・サイエンス

ところで、エンゲージメント・スコアの改善に全然役立ってないのが、いわゆるAI（広い意味で）に関する実験とのことです。

興味ありそうな記事をレコメンドするとかといった機能は、今日であればだれもが思いつくものですが、しかしこれまでのところ、こうした機能は彼女たちのエンゲージメント・スコアの改善に役立っていないとのことです。

実はデータサイエンスには2つのタイプがあって、1つ目は意思決定のためのデータ分析（最近はディシジョン・サイエンスと呼ばれることが多い）をするもの。2つ目はデータとアルゴリズムを使ってデータ・プロダクトと呼ばれるものを作るもの。レコメンデーション、パーソナライゼーション、チャット・ボットというのは後者のデータ・プロダクトというやつです。

もちろんAIという文脈では後者が脚光を浴びることが多いんですが、これをビジネス上の成果に結びつけるのはなかなか難しい。もちろんプロトタイプとしてはおもしろいのですが。

で、ここでおもしろいなと思ったのは、結局彼女たちにとって、ビジネスを成長させる原動力となっているのは意思決定のためのデータサイエンス（ディシジョン・サイエンス）、つまりデータ分析であって、データ・プロダクトを作るためのデータサイエンスではないということです。

もちろん、彼女たちも、こうしたレコメンデーションを含むAI的な機能の改善や実験はまだあきらめてないので今後も続くとは言っています。

ただこうしたことが言えるのも、実験の成否を測るためのエンゲージメント・スコアという指標が決まっているので、莫大で無駄な投資をせずにすむというのがいいですね。

最終的には、そうした機能を作るプロダクトチームもエンゲージメント・スコアを改善することに対する説明責任（Accountability）を持つので、ただ他のみんながやっているからという理由だけでAIをやるよりも、パフォーマンスやデザインの改善にリソース（人とかね）を割り当てることで確実にエンゲージメント・スコアを上げる方向にモチベーションが向いていくことになります。

彼らのビジネスにとって最も重要なものはコンテンツであって、ビジネスモデルも確立しているので、こうしてエンゲージメントの向上のための最適化に走るというのは的を得ていると思います。

継続的な改善はデータをもとにした仮説の構築と実験なしにはありえない

例えA/Bテストをやった後に、新しい機能や新しいデザインをリリースしてもその後しばらくすると、エンゲージメントスコアというのは落ちてくるものです。こういうのを、「ハロー効果」とか言ったりします。そこで絶えず既存の施策の成否をモニターし続けるとともに、どうやってさらに改善できるのかということを考え、絶えず次の施策を打ち続けて行く必要があります。そのためにはデータを使って仮説を構築し、それを実験を通して検証するというサイクルを高速で回していく必要があります。

あのファイナンシャル・タイムスにできるなら自分もできるはず！

セミナーの中で彼女も言っていましたが、彼女たちがやっていることはいわゆるシリコンバレーの企業がここ10年（早いとこは20年）ほど当たり前のようにやってきたことです。

しかし、それをシリコンバレーのテック企業だけができることだと特別扱いするのではなく、自分たちにもできるはずだと実際に全社レベルでやってしまっているのは素晴らしいと思います。

これから、どんどんとSaaSまたはサブスクリプション型のビジネスが増えてくると思いますが、そうするとみんな同じ問題を抱えるようになります。それはコンバーション率をどう上げるか、そしてチャーン率をどう下げるかです。

そしてこうした問題を解決するにはしっかりとユーザーのエンゲージメントを観測していく必要があります。

そういった意味で、ファイナンシャル・タイムスが現在行っていることは多くの日本の企業にとって参考になるのはもちろんのこと、さらにモチベーション（励み、動機）となってもいいのではないでしょうか。

あの、ピンクがかった紙の新聞を刷っていた、1888年（明治21年）創業の会社ができるんですから、日本の企業にできないわけがない！ですね。

データサイエンス・ブートキャンプ、7月開催！

次回のデータサイエンス・ブートキャンプは7月です！

データサイエンス、データ分析の手法を１から体系的に学び、現場で使えるレベルのスキルを身につけていただくためのトレーニングです。

データを使ってビジネスを成長させていきたいという方は、ぜひこの機会に参加をご検討ください！

詳細はこちらのページにあります。