生徒：ANOVA検定の結果、複数の学校間でテストの平均点の違いが有意であるのはわかりましたが、全ての学校の違いが有意なのですか、それともある特定の学校との違いが有意なのですか？
先生：ANOVA検定を行い有意と判断した場合、それは学校間の平均点の違いが有意であるということで、どの学校の組み合わせが有意なのかはわかりません。
生徒：何かいい方法はありますか？
先生：はい、全ての組み合わせに対して仮説検定を行う多重比較分析と行うことができます。さっそく見て行ってみましょう。
事後分析
3つ以上のグループでANOVA検定を行いその結果が有意だった場合、「すべてのグループの平均点には違いがない」という帰無仮説を棄却できたということですから、グループ間の平均点には違いがあると言えます。
しかしその場合、じゃあどこで違いがあるのかという疑問が自ずと湧き上がってくるものです。学校の例で言えば、3つの学校の平均値は違いますが、どの学校の組み合わせにおける違いが有意なのでしょうか。
この問題を解決するために、それぞれの組み合わせに対して、ｔ検定を行うことができます。そうすれば、それぞれの組み合わせ、例えば学校Aと学校Bの平均点の違いが有意なのかどうかの判断を下すことができるようになります。
こうした、ANOVA検定で有意だと判断した後に、それぞれの組み合わせに対してｔ検定を行い有意性を分析することを事後分析と呼びます。
多重比較の問題
しかし、この事後分析をする際には1つ注意が必要です。
というのも、これは繰り返し何度もt検定を行うことになるからです。一般的に、ｔ検定に限らず何度も繰り返し仮説検定を繰り返すことはよくないと言われています。というのも、よく考えてみると、有意水準を5％と決めたということは、帰無仮説を棄却した時に、5％は間違っているかもしれないが、それをよしとしたということでもあります。5％は間違ってるかもしれないということは、20回繰り返し検定を行えばそのうちの1回は間違っているかもしれないということです。
今回は、グループが３個であったので全ての組み合わせは３通りです。そのため t 検定を行うのは3回のみです。しかし、もし10個のグループがあったらどうなるでしょう。その場合，全ての値の組み合わせは45通りとなるため、45回の t 検定をすることになります。すると有意水準が５％の場合は、そのうちの2つか3つかは間違っているかもしれないということになります。つまり本当は違いがなかったとしても、４５回も検定を行えばそのうちの2つか3つの組み合わせは有意となる可能性があるということです。
これでは、有意でないものも何度も検定を繰り返せば有意になるかもしれないわけですから、検定の信頼が揺らいでしまします。
そこで、同じような検定を何度も繰り返し行う場合には、一般的には検定方法や検定に使うP値などの値に対して何らかの補正を加えることで、有意であるといった時に間違っている可能性が低くなるように調整します。これは、簡単に言えばより有意になりにくくするということです。
この補正する手法には様々なものがあるのですが、ここではその中でも最もシンプルなボンフェロ二補正について紹介します。
ボンフェロニ補正
ボンフェロニ補正の補正はいたって単純で、それはｔ検定で得られらたP値に対してグループの組み合わせの数を掛けるというものです。
\[\begin{aligned} 補正されたP値 = グループの組み合わせの数 \times P値 \end{aligned}\]組み合わせの数は以下の式で求めることができます。
\[\begin{aligned} 組み合わせの数 = \frac{グループの数 \times (グループの数 - 1)}{2} \end{aligned}\]ここで言う組み合わせとは、自分自身との組み合わせ（例：AとA）を含まないためグループの数とグループの数から1を引いたものを掛け合わせます。さらに、AとBという組み合わせとBとAという組み合わせを2回と数えるのではなく、一意（ユニーク）な組み合わせだけを数えたいために最後に2で割ります。
ボンフェロニ補正は、この組み合わせの数を元のP値に掛け合わせることになるため、P値の値は大きくなります。これは有意になりにくくなるということです。
学校の例であれば組み合わせの数は3です。
\[\begin{aligned} 組み合わせの数 = \frac{3 \times (3 - 1)}{2} = 3 \end{aligned}\]もし学校のうちAとBの組み合わせに対して行ったｔ検定の結果、P値が2%となったとしましょう。その場合有意水準が5%のためこの組み合わせの平均値の違いは有意であると判断できます。しかし、多重比較における検定の場合には、ボンフェロニ補正をかけることになりますが、その場合元のP値の2%に組み合わせの数である3を掛けることになるので、補正されたP値は6%となります。この場合、有意水準の5%を上回るため有意とは言えなくなります。
Let’s do it
ExploratoryではANOVA検定を行うと事後検定として多重比較が自動的に行われます。
前節で従業員データを使って、婚姻ステータス間の平均給料の違いが有意かどうかを調べたANOVA検定の結果を出してください。
多重比較の結果を見るために、「多重比較」のタブをクリックします。
Exploratoryではデフォルトでは、手法の列に記述されているように、それぞれの組み合わせに対してｔ検定を行い、その上でP値にはボンフェロニの補正を加えています。ここでは3つのグループがある婚姻ステータスが説明変数となっていますので、3つの組み合わせに対してそれぞれｔ検定が行われています。
既婚と離婚の組み合わせのおける差は約7ドルと小さく（差の列）、P値は約100％（1）とかなり高く有意ではありません。既婚と独身、独身と離婚の組み合わせに関してはそれぞれP値が約0.4%、約2.4％と有意水準である5％よりも低いために有意と判断できます。
ところで、多重比較における補正のタイプは他にもあり、プロパティより変えることもできます。
