帰無仮説と対立仮説
公正な硬貨（表と裏の出る確率が等しく0.5である硬貨）をN回投げたときに表の出る回数は
の２項分布によって表すことができる。例えば、N=100回投げたときに表の出る回数に対して確率を計算し、グラフとして表すと図１のようになる。
図１ ２項分布のグラフ
図１のグラフを描くプログラムは、ここをクリックして表示されるページにアップロードされている。
に対してグラフを描くと図２のようになる。
図２ ２項分布のグラフ（の場合）
図１と図２を比較すると、公正な硬貨（）の場合は表の出る回数の確率は中央の５０回付近に集まっており、表の出やすい硬貨（）の場合は右側の表の出る回数の多いところに確率が集まっていることがわかる。実際、のときに表の出る回数
が65回以上である確率は0.002以下であるが、のときは表の出る回数が65回以上である確率は0.999以上である。これらの確率を求めるプログラムは、ここをクリックして表示されるページにアップロードされている。したがって、もし１００回硬貨を投げてみて表が６５以上出たら、その硬貨が公正なものであることは疑わしくなる。
上のことを一般的に表すと、図３のような方法になる。まず、確率を計算するための仮説を設定する（２項分布のようにある範囲の整数値しかとらない場合は、確率分布は図１のようにヒストグラムになるが、この場合も分布を図３のように連続な曲線でなぞって表しておく）。硬貨の場合は、「公正であるかどうか（表の出る確率と裏の出る確率が等しいかどうか）」が問題であるので、として図１のように確率分布を求める。この分布において、両端のいずれかの方向、確率の低い方向の値が出たときは、「公正である（）」という仮説を疑う。上の例の場合、１００回硬貨を投げて表が６５回以上出たときは、「公正な硬貨である」という仮説の正しさが疑われる。この確率を求めるために用い、低い確率の結果が得られたときにはその正しさが疑われる仮説は帰無仮説と呼ばれている。
図３ 両側検定の方法
一般に、帰無仮説を設定して、得られたデータに基づいてその正しさについて判断することは統計的検定と呼ばれている。得られたデータに対して、帰無仮説に基づいて計算するとそのようなデータの得られる確率が低いときに、帰無仮説の正しさを疑い否定することは棄却といい、帰無仮説を棄却して代わりに採用される仮説（上の場合は、「公正な硬貨ではない（表の出る確率と裏の出る確率は同じではない）」という仮説）を対立仮説という。
統計的検定では、帰無仮説と対立仮説を設定し、帰無仮説に基づいて確率が計算される。帰無仮説に対して確率の小さいデータが得られたら帰無仮説を棄却して対立仮説を採用する。確率が小さくなければ帰無仮説は棄却されない。棄却の基準となる小さい確率のことを有意水準といい、
で表す。の値としては、習慣上５％あるいは１％がとられる。すなわち、
あるいは
とおく場合が多い。硬貨が公正であることは、表の出る回数が極端に多くても少なくても疑わしくなる仮説である。したがって、極端な値の範囲は、図３のように帰無仮説に基づいて算出される分布の両端に設定され、有意水準の値を左右に等分して、それぞれ
の確率になる領域がとられる。この両端の領域を棄却域といい、その間の帰無仮説が棄却されない領域を採択域という。棄却域と採択域の境となる値を棄却の限界値という。
帰無仮説「公正な硬貨」が、例えば「表が出やすい」という仮説（対立仮説）の検討のために設定されているときは、帰無仮説からみて極端と考えるデータを「表の出る回数が多すぎる」方向のものとする。すなわち、図４のように棄却域を設定する。この場合は、有意水準は両側に分けずに、極端と考える方向の領域にのみ設定する。この対立仮説に方向性がある（棄却域が一方の側にのみ設定される）場合の検定を片側検定という。これに対し、図３の場合のように、棄却域が帰無仮説における分布の両側に設定される検定を両側検定という。
図４ 片側検定
上の検定において、２つのタイプの誤りが区別される（図５）。まず、正しい帰無仮説を誤って棄却してしまう誤りである。この確率は、有意水準の決め方からであることがわかる。すなわち、有意水準に対する帰無仮説は、帰無仮説に基づいて算出された確率分布によって設定されているので、帰無仮説が正しいときは確率で棄却域の範囲にあるデータが得られる。帰無仮説が正しいときにそれを棄却する誤りを第１種の誤りといい、その確率はである。
図５ 第１種と第２種の誤り
２番目の誤りは、帰無仮説が間違っているときにそれを棄却しないものである。この確率は正しい対立仮説から算出することができる。図５の下の分布は対立仮説が正しいときのものである。対立仮説に基づいて確率を計算するとき、計算に用いられる対立仮説は普通無数に想定することができる。例えば２項分布のとき、そのパラメタである確率
の値は、対立仮説においては以外のあらゆる確率が該当する。図５はそれらの対立仮説のうちの１つに対するものを描いたものである。帰無仮説に基づいて算出された確率分布から棄却の限界値が設定され、データがその限界値を超えないとき帰無仮説は棄却されない。この確率は、図５に描かれた対立仮説が正しいときは、対立仮説による分布として描かれている分布において棄却の限界値の左側の領域（赤色の領域）で示されるものである。対立仮説が正しいときに誤った帰無仮説が棄却されない誤りを第２種の誤りといい、その確率を
で表す。第２種の誤りの確率は、対立仮説に応じて決まるものである。帰無仮説とよく似た対立仮説のときは、帰無仮説とおおきく異なる対立仮説に対するときよりも第２種の誤りの確率は大きくなる。
第２種の誤りの定義から、誤った帰無仮説を正しく棄却する確率は
となる。この確率を検定力（power）という。帰無仮説が誤っているとき、正しい対立仮説に基づく確率分布が帰無仮説に基づく確率分布からおおきくずれているとき検定力は大きくなる。
検定の例：ここをクリック
上の統計的検定では、第１種の誤りの確率（有意水準）を決め、それに対応する限界値とデータ値（データから算出されるもので統計量という。あるいは検定に用いるという意味で検定統計量ということもある）との比較よって帰無仮説を棄却するかどうかが決められる。帰無仮説の正しさの度合い（あるいは疑わしさの度合い）を表す方法として、得られた統計量より以上の極端な値が生じる確率を帰無仮説に基づく確率分布から算出するものがある。この確率は、ｐ値と呼ばれている。すなわち、ｐ値とは、帰無仮説に基づいて算出される確率分布において、データとしての検定統計量の値以上の値が得られる確率（芝ら、2001第５刷、p．101）、あるいはデータとして検定統計量の値以上の極端な値の得られる確率（芝ら、2002第10刷、p．70）である。ｐ値は、限界水準あるいは有意確率ということもある（南風原、2002、p．140）。ｐ値が小さいとき、帰無仮説の下ではそのような極端なデータ（統計量）が得られる確率は小さいということになる。ｐ値が有意水準以下であれば、帰無仮説は棄却される。
ｐ値を使って複数の研究結果を総合的に判断するメタ分析についてはここをクリックして表示されるページで説明する。
統計学の入門書として＜岡本安晴「データ分析のための統計学入門――統計学の考え方――」おうふう、2009＞を用意している。
参考文献
芝祐順・南風原朝和（2001）「行動科学における統計解析法」、東京大学出版会
芝祐順・渡部洋・石塚智一（2002）「統計用語辞典」、新曜社
南風原朝和（2002）「心理統計学の基礎」、有斐閣