ネットフリックスはどうやって仮説構築、検証を繰り返しながらカスタマー分析しているのか

Netflixという、映画、TV番組のストリーミングサービスを提供しているシリコンバレーの会社があります。ここは昔からデータの使い方が上手く、彼らのカスタマーの映画に関する嗜好に対する理解度がとにかくすごく、その事自体がMoat（モート、他の競合に真似のできない参入障壁）となっているとして有名です。そこで昔、プロダクトのトップをやっていたGibson Biddleという人が最近、彼らがコンシューマー・サイエンスと呼ぶカスタマーを誰よりも深く理解するためのデータ分析のプロセスについて具体的な例を出して書いていたので、ここで要約として紹介したいと思います。

以下、要約

How Netflix’s Customer Obsession Created a Customer Obsession - Link

by Gibson Biddle, former VP at Netflix and CPO at Chegg

2005年にNetflixにプロダクト部門のVP（バイス・プレジデント、日本で言う部長のような役職）として参加した時、CEOのReed Hastings（以下、リード・ヘイスティングス）に「自分のレガシーとして何を残したいのか」と聞いたことがあります。その時の彼の答えは、「コンシューマー・サイエンス」というものでした。彼が言うには、

「Steve Jobsのようなリーダーは、スタイルとカスタマーが何を求めているかについての感覚が鋭いが、私はそうではない。そこで、同じレベルで勝負するには、私達にはコンシューマー・サイエンスが必要なのだ。」

リードが求めるのは、Netflixのチームが科学的なプロセスを使うことで、何がカスタマーを喜ばせるのかを理解するということです。そのプロセスとは、既存のデータをもとにした分析やフォーカス・グループやインタビュー、アンケートなどを使ったクオリテイティブ（質的、Quantitative/定量的の逆）な分析から仮説を構築し、そこから出てきたたくさんのアイデアのどれが正しいのかをA/Bテストをして検証するということです。

彼のビジョンはNetflixの製品を担当するリーダーは、こうした何千ものテストからの結果とそこからの学びを通して、カスタマーに関する深いインサイトを持つようになるべきだ、というものでした。

Netflixとその次の私のスタートアップであるCheggでの経験を通して、私自身の中でも、意識はカスタマーフォーカスからカスタマーオブセッションへと変わり、リードのいうところのコンシューマー・サイエンスを積極的に取り入れ実行していくようになりました。

カスタマーフォーカスとカスタマーオブセッションの違いは簡単に言うと以下のようになります。

時間がたつに連れて、私のフォーカスは、「カスタマーが何を言っているのか？」から、「まずはテストしよう！」というコンシューマー・サイエンスの態度に変わりました。私のチームのカスタマーに関するインサイトは向上し、学びの速度も上がり、何がカスタマーを喜ばせるのかについてのある仮説を形成するに至りました。

以下が、コンシューマー・サイエンスとカスタマーオブセッションのために私達が使ったリサーチの手法です。

• 既存のデータを使って過去と現在のカスタマーの行動を理解する。
• 私達の作っているものに対してカスタマーがどう反応するのかを聞くために、フォーカス・グループや一対一のインタビューやユーザーテストといったクオリティティブなリサーチをする。
• カスタマーがどういった人たちなのかを、デモグラフィック（人口統計学的属性、つまり性別、年齢、住んでいる地域、所得、職業、学歴、家族構成など）、競合する製品の使用度、エンターテイメントの好みなどのグループごとに理解するためにアンケートをする。
• 上記の分析をもとに構築された仮説をA/Bテストする。

私にとってのカスタマーオブセッションとは、やること全ての中心にカスタマーを位置づけるような様々なリサーチ手法を使って、カスタマー自身がまだ気づいていない将来のニーズを理解することに夢中になり、最終的にはカスタマーの視点から自分たちのプロダクトを見ることが出来るようになるということです。

仮説を構築してそれらを検証するための科学的な手法であるコンシューマー・サイエンスはカスタマー・オブセッションの文化を作り、ほかの競合が真似できず、収益の改善につながるという前提で、何がカスタマーを喜ばせるのかを探し出すための最適なやり方であると思います。

指標のモニタリングと既存データを使った問題の解決のための分析

私がNetflixのデータドリブンなアプローチに最初に触れることになったのは、月曜朝のスタッフミーティングです。ここでは”e-staff metrics“と呼ばれるいくつもの指標を見ることになります。それらの指標は、リテンション（サービスをまだ使っているカスタマーの割合）、売上、コストに関するものから、カスタマーの行動パターンの変化に関わるものまであります。そこに出席している15人の重役がデータをレビューし質問を投げかけます。ここでは説明できないような変化を探そうとするのが目的です。

2005年の春、月のキャンセル率が急に上がったのがそうした指標から明らかになったことがありました。急遽、その原因を見つけだすためのチームを招集することになったのですが、そのときの状況を簡単にチャートにしたものが以下になります。

見ての通り2005年のキャンセル率が上がってます。これは、データのエラーでしょうか。それとも、ウェブサイトの変更が予期せぬ結果を招いたのでしょうか？

データをいろいろと探った後、一番最もそうな仮説は、夏が近づいてきているからキャンセルが多いのではというものでした。この時期はみんな外で時間を過ごしたいでしょうから。しかし、それならなぜこうしたトレンドをその前の年では見られなかったのでしょうか？今年は天気のパターンが違ったのでしょうか？（そんな事はありませんでした。）たくさんの分析者がこの問題を解決するために参加しました。

最終的に、翌月にこの謎を解くことができました。後から考えると、簡単なことだったのですが、その時は霧に包まれているようで、時間がかかってしまいました。実は、春の終わりにその前年までの4年間はいつも値下げを行っていました。このことが、実は夏前にキャンセル率が高くなっていたかもしれないという事実を発見させにくくしていたのでした。というのも、2005年が初めて、夏前に値下げをしなかった年だったからです。

このキャンセル率に関するデータ分析は、後に、リテンションを上げる（ユーザーを引き止める）ための新しい仮説を構築するのにも役立ちました。地域別のデータを見てみると、ハワイではキャンセル率が夏の後に急に回復しているのがわかりました。それを表すものとして下のようなハワイ、サンノゼ、ボイジーの3つの地域を比べるチャートを作ってみました。

サンノゼのキャンセル率が最も低いのは理解できます。というのも私達はこの地でNetflixのサービスを提供し始めたのですから。ボイジーはそれから数年後にサービスを開始していますが、ゆっくりとサンノゼのキャンセル率に近づいてきています。驚きなのはハワイの改善です。なぜたったの2ヶ月の間に8%から6%に落ちたのでしょうか？

答えは簡単です。最初にハワイでサービスを開始した時、私達はDVDのディスクをロサンゼルスから送っていました。ですのでDVDが届くのに3日ほどかかっていました。しかし、8月にホノルルにDVDの配送センターをオープンしました。DVDの配送にかかる時間は3日から一晩になり、それがキャンセル率を低くすること一役買っていたのです。

ここで私達は新しい仮説を構築しました。

「DVDの配送のスピードを上げることがリテンションの向上につながる。」

そして、前述のスタッフ・ミーティングで使う指標に、「DVD が次の日に着く割合」という新しい指標を付け加えました。次の数年の間にDVDの配送センターは20から100に増えました。さらに、在庫のシステムとウェブサイトのシステムを統合することで、メンバーの近くの配送センターから次の日に送ることの出来るDVDのタイトルだけをメンバーの見るウェブサイトのページに表示するようにしました。

ハワイのデータ分析から得られたインサイトは、DVDの配送時間を全国レベルで速くすることにつながり、それはカスタマーを喜ばせることとなりました。さらによいことに、自動化された全国に広がる配送センターは収益の改善に繋がり、さらにそうしたシステムはブロックバスターなどの競合にとって真似することが難しいものとなりました。

クオリテイティブ・リサーチ：フォーカス・グループ、インタビュー、ユーザビリティ

私がNetflixで働き始めた最初の年には別のチャレンジもありました。CEOのリードは、カスタマーが好きな映画を見つけることができるユニークな仕組みこそがカスタマーのリテンションの向上につながるという仮説を積極的にサポートしていました。こうした仕組みは映画の作品のライセンスを低コストで仕入れることが出来るということで収益の改善にも役立ちます。

一つのプロトタイプとして、メンバーがホームページに来た時にビデオのプレビューを自動的に始めるというのがありました。別のプロトタイプでは大きな再生ボタンを映画のイメージの上に乗せることでメンバーがクリックしてプレビューを始めるというのもありました。

いくつかのプロトタイプをフォーカス・グループを使って試してみたのですが、カスタマーの反応は慎重なものでした。彼らによると、プレビューを見る唯一の理由は、良い席を取るために映画館に早めに入った時に時間をつぶすためというものでした。別のカスタマーによるとプレビューは映画の内容を見せすぎてしまうことに懸念があるというものでした。

リードとこうした問題を話し合ったのですが、彼はこうしたクオリティティブな分析をもとに意志決定をしたがりませんでした。フォーカス・グループは少人数で行うものなので、私達の全国にいる全てのカスタマーを代表しているとは言えないからです。

そしてA/Bテストを行い、プレビューはリテンション、マージン、他の重要な指標を向上するのに役立たないという結果が出ました。ここで私が嬉しかったのは、クオリティティブな分析をすでにやっておいたおかげで、なぜそういう結果が出たのかを理解することができたという点です。カスタマーにとって、実はプレビューというのは本当はなくてもいいのだが、しょうがないから見ていただけだったのです。

アンケートデータ

Netflixに参加した頃、私はアンケートというものに対して慎重でした。というのも、カスタマーは実際にとる行動とは違ったことを言うというのを知っていたからです。そうはいうものの、以下の3つのアンケートはNetflixでは役に立っていました。

デモグラフィックに関するアンケート

カスタマーが誰なのかを理解するのは重要で、ここにはよく驚きの発見があったりします。

キャンセルのアンケート

カスタマーがキャンセルする時、なぜ辞めたのかを聞きます。これによってなにかパターンが有るのかを理解し、もし特定の問題が見られるのであれば急いで修正することになります。

サンプリング

カスタマーの数が増えるにつれ、アンケートを使って品質に関する調査をしました。例えばDVDの配送にかかる時間だとかストリーミングの品質等に関するようなものです。

ネット・プロモーター・スコア

（訳注：ネット・プロモーター・スコアとは、他の人にサービスを勧めたいかどうかをスコアで表したもののことです。）

これは全体的なサービスのクオリティを表すものです。Netflixではリテンションに関するもっと意味のあるデータがあったものの、サービスのクオリティを表すものなので便利で、実施するのも簡単です。Netflixでは、このスコアは80ほどでしたが、最低でも50以上であるべきで、70以上であれば喜んでいいものでしょう。

スタートアップでは最初の頃は使えるリソースがなく、A/Bテストを行うほどの規模もないので、カスタマーのことを理解したいと思うなら、こうしたアンケートはいくつかのリサーチ手段の一つとして有効です。

A/Bテスト

カスタマーの行動の変化に影響を及ぼすことが出来るかを判断し、さらにカスタマーを喜ばせることと収益を改善することのバランスをとるために私達がよく使ったひとつの手法がA/Bテストです。

この「バランスをとる」ということを最初に勉強することになったのが、「パーフェクトな新作配送」と名付けられた機能のテストをした時でした。私がNetflixに参加した頃に最も多かったメンバーからの要望は「新しい映画がすぐに簡単に見られるようにしてほしい」というものでした。

そこで、一部のユーザーがそうした新しい映画をリストに入れると次の日には届くような仕組みを作りテストをしてみました。また、それとは別のユーザーのグループには、何日も、または何週間も新しい映画のDVDが手に届くのを待たなくてはいけないという仕組みを作り比較対象としてみました。

テストの結果は、新作が早く届くということがリテンションの向上に対して与える影響はわずかばかりで、逆にそれにともなうコストが高くなり、そうした新しい映画のDVDの在庫のために何億もの費用が発生することとなりました。この場合はサービスの改善のためのコストがそこから得られるベネフィットに対してあまりにも大きいという結果になりました。つまり、大きくなる在庫に対する投資に見合うほどの価値はなかったということです。

Netflixでは、カスタマーを喜ばせることと収益のバランスをとる時に使うフォーミュラ（計算式）がありました。カスタマーを引き止めるために、一人のメンバー当たり200ドル、もしくは生涯価値の2倍は費やしてもいいというものです。この2倍費やしてもいいというのはプロダクトを担当しているリーダーたちにカスタマーを喜ばせるように仕向けるという意図がありました。その理由としては、そうしたサービスの改善は一人のカスタマーを引き止めるのに役立つだけではなく、そのカスタマーが私達のサービスをいかにいいかということをしゃべってくれることで、別のお客さんをただで呼び込んでくれるという効果があるからです。

5つ星評価 vs. 親指評価

A/Bテストによって得られた、最近あった別のインサイトの例としては、Netflixが5つ星評価から、”親指を上げる（サムズ・アップ、いいね）、親指を下げる（サムズ・ダウン、悪いね）”という評価の仕組みに変えたというものがあります。この変更に文句をいう既存のカスタマーは多かったのですが、この新しいシステムのおかげで映画の評価づけの量が２倍になりました。

実はこれに関して、カスタマーに関する別のインサイトも発見できました。それぞれの映画の作品のページにいくと、昔のような星評価はもうありません。あるのはあなたがこの映画を楽しむ確率がどれくらいかという「パーセンテージ・マッチ」のみです。

下の写真のCasinoという映画のところをよく見ると緑色で「98％ Match」というのが見えます。星評価はもうありません。

これは実はNetflixが、これまでの既存のデータを使った分析、クオリティティブな分析、A/Bテストなどの手法を組み合わせながら学んできたたくさんのカスタマーインサイトの結果なのです。

当時、私達が持っていた仮説は、「5つ星評価制度による高いクオリティの映画を多く見たメンバーほど、長くサービスを使い続ける」というものでした。これは、インタビューなどでユーザーが答えていた情報と一致したものです。

しかし残念ながら、データによってこれを証明することはできませんでした。一般的により高い評価を映画に与えているということと、メンバーのリテンションが高いということの間には関係が見いだせなかったのです。

というのも、例えば「leave your brains at the door」というアダム・サンドラーのコメディに3つ星の評価しか与えなかったとしても、あなたはその映画を楽しんだかもしれません。そして、「シンドラーのリスト」の映画を見て、何か崇高な気持ちになり、5つ星の評価を与えたとしても、その映画はあなたにとって全体的に楽しいという気持ちにはさせなかったかもしれません。（この映画はちょっと気持ちが暗くなるものです。）

ということで、既存のデータを使った分析、カスタマーが何を言っているのかに耳を傾けるクオリティティブな分析、そしてA/Bテストの結果の分析を組み合わせることで、Netflixは星を使った評価システムから「パーセンテージ・マッチ」を使ったシステムへと移行することになったのです。

この星評価システムから「パーセンテージ・マッチ」システムへの移行はカスタマー・オブセッションの文化を作るためのキーとなる点が見えます。それは実験的な手法への専念であり、ここにあげたような4つのリサーチ手法を混ぜた分析のプロセスであります。そして、より速いDVDの配送の例で見たように、「パーセンテージ・マッチ」システムを支えるNetflixのパーソナライゼーションのテクノロジーは、Netflixにとって重要な3つのゴールを満たすことになるのです。それは、カスタマーを喜ばせるために、それぞれのメンバーにとって最高の映画を提供することを可能にし、競合にとってはまねをするのが難しいものであり（一億2000万の世界中のメンバーの映画に関する嗜好を理解していることにより可能である。）、低コストで必要な映画を仕入れることを可能にするため、収益の改善にも貢献するのです。

なぜ、この4つのリサーチ手法の全てを使う必要があるのでしょうか？それはそれぞれの手法に弱点があるためです。例えば、既存のデータを使った分析は今日起こっていることを理解するのにはいいですが、将来のことを理解することができません。クオリテイティブやアンケートの手法に関しては、カスタマーはインタビューやアンケートでは本当のことを言ってくれないということが分かっています。そして、A/Bテストに関しても、そもそもそうしたテストができないようなケースがたくさんあります。Netflixが一度DVDのビジネスをQwiksterとしてスピンアウトしようとして失敗に終わったのを覚えている人も多いのではないでしょうか？

<略>

カスタマーオブセッションの文化を作るためのキーは、コンシューマー・サイエンスを推進し、テストを頻繁に行いその結果から学んでいく習慣を作ることです。

最後に、こちらに、あなたの組織のカスタマーオブセッション度を診断するための質問のリストをまとめてみました。

• よく練られたみんなが見ることの出来る指標がありますか？これはあなたのチームが仮説を構築するのに役立ち、カスタマーを喜ばせることと収益のバランスをチームのみんなが理解するのに役立ちます。
• カスタマーのデモグラフィックや、なぜキャンセルするのかなどを明らかにしてくれるようなアンケートをやっていますか？
• トレンドや間違いをすばやく見つけるためにカスタマーのサンプルデータを集めることができますか？
• フォーカス・グループ、一対一のインタビュー、ユーザーテストといったことを行っていますか？あなたのチームはカスタマーと会って、カスタマーの声を代表できるようになっていますか？
• カスタマーを喜ばせることと収益のトレードオフを計測するためのA/Bテストを行う仕組みがありますか？将来のことに関して仮説を構築することがあなたのチームにとって当たり前のようになっていますか？
• カスタマーに関するインサイトや学びをもとに、カスタマーを喜ばせ、競争相手にはコピーされにくく、さらに収益の向上にもつながるための製品戦略を持っていますか？

以上、要約

データサイエンス、データ分析を本格的に学んでみたい方に

この6月の下旬に、Exploratory社がシリコンバレーで行っているトレーニングプログラムを日本向けにした、データサイエンス・ブートキャンプを東京で開催します。データサイエンスの手法を基礎から体系的に、プログラミングなしで学んでみたい方、そういった手法を日々のビジネスに活かしてみたい方はぜひこの機会に参加を検討してみてください。こちらのホームページに詳しい情報があります。