ベイジアンA/Bテストの紹介

A/Bテストについて聞いたことがある方も多いと思います。A/Bテストとは、AとBの2つのグループを作成し、各グループのパフォーマンスを測定して、どちらがよりパフォーマンスが優れているかをテストすることです。

そこで、このノートではA/Bテストの時に使える「ベイジアンA/Bテスト」について紹介します。

ベイジアンA/Bテストは、ベイズ推定を使用してAがBよりも優れている（または劣っている）「確率」を示します。

この方法の利点は、統計学の知識がなくても、結果を直感的に理解できることです。これは、ビジネスの担当者とのコミュニケーションがしやすくなることを意味します。

もう1つの利点は、結果を評価するときにデータの量についてあまり心配する必要がないことです。AとBでどちらかが優れている確率を読み取ることで、初日（または最初の1時間）からテスト結果を評価していくことができます。

もちろん、十分なデータサイズがある方がいいですが、「まだ十分なデータがない」よりも「AはBよりも60％の確率で優れている」と言える方が意思決定が必要なビジネスで役に立ちます。

使用するデータ

今回はサンプルデータとして、Webサイトのランディングページのデータを使用します。

このデータはWebサイトのランディングページで２つのバージョンでテストしたデータで、各ページで日ごとのページビュー数、サインアップ数がデータとしてあります。

ベイジアンA/Bテスト用のデータの加工方法については、こちらのノートをご参照ください。

ベイジアンA/Bテストを実行する

アナリティクスビューから、タイプに「A/Bテスト - ベイジアン」を選択します。

次に、下記に列を割り当てる必要があります。

目的変数
説明変数
値

目的変数は、私たちが見たい結果の列を割り当てます。今回の場合、ユーザーがサインアップしたかどうかをみたいため、is_signupを選択します。

説明変数は、テスト対象のAとBを表す列を割り当てます。今回は、landingPagePathを選択します。

値は、AまたはBごとの各結果（サインアップかどうか）に対するサインアップ数を割り当てます。今回の場合は、valueを選択します。

実行すると、ベイジアンA/Bテストの結果が表示されます。

結果の解釈

サマリ

「サマリ」タブでは、ベイジアンA/Bテストを実行した結果、グループのAとBでどちらが優れているのかを知ることができます。このサマリ情報で最も重要な部分は、「改善する確率」の列です。この場合、Aの確率がBよりも優れているのは8％（0.08）であり、Bの確率がAよりも優れているのは92％（0.92）であることがわかります。

「期待される改善率」の列には、AがBよりどれだけ優れているかが示されています。この場合、数値は負であるため、ページAに進むと、コンバージョンが2％ほど悪化すると解釈できます。つまり、Bはパフォーマンスが2％ほど向上します。