統計学・検定に基づくABテストの「正しさ」とは

ここでは、ABテストの結果を正しく判断するために用いられている統計学の考え方について解説しています。
ABテストにおいて用いられる検定手法などについても紹介しているので、ABテストの仕組みを知りたい方は是非参考にしてください。

ABテストの仕組み～統計学の基本～

ABテストでは、テストから得られた結果を正確に判断するために、「統計学」の考え方を用います。
統計学とは、大量に積み重なったデータの全体像を把握するために、サンプルを抽出し、そこから得られた結果をもとに母集団の性質を推測するものです。実社会でもさまざまな場面で活用されています。

ABテストでは、テストにより得られたデータにもとづき、広告やランディングページの効果について比較検証を行います。
運用中のサイトにおいてどのパターンが有効なのかを的確に判断し、きちんと成果を得るためには、この統計学の考えを用いることが欠かせないのです。

ABテストで用いられる検定手法

ABテストにおいて、パターンや広告配信の有効性等を判断する際には、「検定」と呼ばれる手法が用いられます。そして、その結果の信頼性には「有意差」が大きく関係します。

まずは、ABテストで用いられる主な検定手法をチェックしましょう。「有意差とは何か？」についても後述します。

二項検定

二項検定は、2種類のカテゴリーに分けられたデータの比率が、理論的に期待される分布から有意に偏っているか、二項分布を用いて導き出す検定手法です。
いわゆるコイン投げのような、結果が2通りのみの問題においては、成功回数とその確率は二項分布に従うことになります。サンプルサイズが小さい場合にも使用可能です。

カイ2乗検定

χ2（カイ二乗）検定は、帰無仮説（証明する仮説）が正しいという仮定をしたとき、検定統計量が（近似的に）カイ二乗分布に従うような仮説検定手法の総称です。2つの変数間で関連していないこと＝2つの変数が独立していることを考えるため、「独立性の検定」とも呼ばれています。

ABテストにおいては、サンプルサイズが大きい場合に特に有効です。エクセルシート上で比較的容易に計算できるため、よく用いられます。

フィッシャー正確確立検定

フィッシャー正確確立検定は、クロス集計表の「行要素」「列要素」の2つの属性が独立であるかどうかを検定する手法です。

カイ2乗検定のようにカイ二乗分布による近似的なP値を用いるのではなく、起こり得る全組み合わせの中で観測された以上の差がつく組み合わせの確率をP値とし、検定を行うのが特徴です。

t検定

t検定は、帰無仮説（証明する仮説）が正しいという仮定をしたとき、検定統計量がt分布に従うことを利用する検定法の総称です。

ABテストにおいては、クリック数の場合にはサンプルサイズが大きいケースで、連続数値の場合には分布が正規分布ないしサンプルサイズが大きいケースで有効です。

カイ2乗検定が主に質的データ（カテゴリカルデータ）に適しているのに対し、t検定は連続データに適していると言われています。

ウィルコクソンの順位和検定

「中央値に差があるかどうか」を検定する手法です。

ABテストにおいては、サンプルサイズが大きい場合に有効です。

有意差とは？

「有意差がある」「統計的に有意である」状態とは、「その結果が、偶然に生じた結果ではないと言えるだけの明確な差がある」状態を言います。
つまりABテストの結果に当てはめて言えば、AパターンとBパターンの間に生じた差異について有意差がある場合、そのAパターンとBパターンの差異が「何らかのエラーや偶然で生じた差異ではなく、きちんと何かの要因によって生じるべくして生じた差異である」と認められるということです。

ABテストでは、常に、AパターンとBパターンのどちらを選べば良いのかの判断を求められます。
AパターンとBパターンの差異が誤差の範囲内であったり何かの偶然で起きた差異であったりする場合、その結果を曖昧に判断してしまうと、結局コンバージョン率が全然アップしなかった…、改善されなかった…、といった事態につながってしまうでしょう。
そもそも、感覚的な判断に頼るのであれば、テストを実施する意味も薄れます。ABテストの結果を正確に判断し、有効的に活用できるデータとするためには、「有意差」があるかどうかの確認が重要なのです。

まとめ

今回は、ABテストと統計学の考え方について、その関係性と重要性を解説しました。
統計学の考え方を知ることで、より理論的な検証が行えるようになるので、是非今回の内容を頭に入れておきましょう。

当サイトでは、CVR改善に奔走するWEBマーケティング担当者の皆さまに、ABテストを成功させる本質である「設計力」と、そのために必要な「実行力」のあるツールをご提案しています。
この機会に是非ご確認ください。

成果に繋がる“本気のABテスト”に必要な
おすすめのABテストツール3選

「実行力」のある
ABテストツール3選

正確なテストを高速で回せるツールが、CVR改善の強力な武器となります。
本格的・効率的なデータ検証が期待できる「6つの機能」を網羅しているABテストツールから、
企業タイプ別に3種を提案します。

丁寧なコンサル＆サポートで
自走力を付けたい
成長企業には

DLPO

引用元：DLPO公式サイト
https://dlpo.jp/

こんな担当者にオススメ！
コンサルから学び、
自社の成功パターンを
確立させたい担当者

2007年からサービスを提供し続け、国内No.1の導入実績（800社以上）^※
自社開発だからこその迅速なサポート＆国内市場にフィットした丁寧なコンサルティング
各種DMPとの連携にも柔軟に対応し、外部データを活用した多角的なテストが得意

公式サイトで
事例をチェック

電話ボタン

さらに詳しい
特徴を知りたい

開発・販売：株式会社DLPO

※ 参照元：DLPO公式サイト
（https://dlpo.jp/）
2011～2014年 LPOツール売上額が4年連続1位より

グローバルスタンダードの
定番ツールを求める
安定企業には

Optimizely

引用元：Optmizely代理店公式サイト
https://optimizely.gaprise.jp/

こんな担当者にオススメ！
サイト改善の必要性を
社内に強く提唱
していきたい担当者

全世界で導入実績8,000社の圧倒的な人気を誇る、ABテストの定番ツール^※
米スタンフォード大学と共同開発した統計エンジンにより、短期間で誤差の少ないテスト
MicrosoftやIBMといった世界の名だたるIT企業の導入も多く、参考事例が多い

公式サイトで
事例をチェック

電話ボタン

さらに詳しい
特徴を知りたい

開発：米Optimizely社
国内販売代理店：株式会社ギャプライズ

※ 参照元：Optimizely公式サイト
（https://optimizely.gaprise.jp/ ）
2022年9月時点

マーケティングツールを
はじめて導入する
新興企業には

VWO
（Visual Website Optimizer）

引用元：Visual Website Optimizer代理店公式サイト
https://www.assion.co.jp/lp/05b/

こんな担当者にオススメ！
サイトの分析から
スモールスタート
していきたい担当者

IT企業ひしめくインド発。Disneyやebayをはじめとする全世界2,500社の導入実績^※
ヒートマップやマウストラッカーといったサイト分析が行える機能と、シンプルなUI設計
「可能性」からテスト結果を導き出す検定法により、短期間・少サンプルでも対応可能

公式サイトで
事例をチェック

電話ボタン

さらに詳しい
特徴を知りたい

開発：印Wingify社
国内販売代理店：株式会社アッション

※ 参照元：VWO公式サイト
（https://vwo.com/customers/）
2022年9月時点

【選定条件】
Googleで「ABテストツール」と検索して表示される、ABテスト機能を有するツール44種を調査。（2022年7月15日時点）
「実行力」を持つ指標として、下記の機能を満たすもの、かつ日本語対応しているツールを3つ選定しました。
多変量テスト/複数ページテスト/リダイレクトテスト/セグメント機能/パーソナライズ機能/トラフィックの割り当て機能
また、下記メリットにより各企業タイプ（各担当者）へ推奨としています。
・成長企業 … 充実したコンサルサポートにより、社内のCROリテラシー醸成に期待できる
・安定起業 … 世界的実績数による信頼性から、更なるCRO改善に必要なツール導入提案に有効的
・振興企業 … 分析ツールを有し、小規模実施もできることから、スタートアップのCRO施策に適している

ピックアップ関連記事