ABテストによるセレクションバイアスの除去とは

ABテストにおいて発生する可能性がある「セレクションバイアス」。本記事では、セレクションバイアスとは何か？というところから。セレクションバイアスを除去できる理由などを解説します。

セレクションバイアスとは

セレクションバイアスとは、ABテストにおいてテストの効果を比較する際の対象データが異なっていることを指します。

例えばスマホアプリやブラウザの予約システムなどを用いて、あるサービスの予約件数を増やしたいと考えている場合です。予約を増やすためにクーポンの配布を検討し、その施策にどのくらいの効果があるかを検証するために、ABテストを行います。このとき、クーポンを配布した場合のデータと、配布しなかった場合のデータを両方獲得できれば、クーポン配布にどのくらいの効果があるのかを把握しやすいです。

しかし、実際にはまったく同じ会員に対するABテストを行うことはできません。クーポンを配布した会員、配布しなかった会員のデータをもとに効果を検証する形になります。ただし、会員が違えば対象とする会員の年齢層や居住地などが異なるため、必ずしも正しい効果を検証できるとは限りません。この状態を「セレクションバイアスが存在する」といいます。

セレクションバイアスの除去を行う必要性

セレクションバイアスが存在すると、ABテストにおける正確な検証ができなくなります。影響が大きいと思われる施策であれば、ある程度の効果検証は可能だと思われますが、そうでない場合は検証結果に大きな差がない場合は、正しいデータとして参考にすることができません。

そのほか、ABテストを行う時期によってもセレクションバイアスが生じる場合があります。季節や繁忙期、時代のトレンドなどにもABテストの結果が左右されるため、確かな検証結果を得るためには、セレクションバイアスを除去して、正しいデータを得ることが重要です。

ABテストでセレクションバイアスの除去が可能な理由

ABテストを実施する際に、ユーザー情報をランダムにする「ランダムサンプリング」を用いることで、生じるセレクションバイアスを除去できる可能性があります。例えば先に挙げたクーポン配布であれば、配布する会員と配布しない会員の年齢層や居住地などをランダムにすることで、平均的な効果検証を行えます。ランダムサンプリングはセレクションバイアスのない状態での結果を得られる手法です。

まとめ

ABテストではさまざまな施策の効果検証を行い、今後のサービス運用に有効なデータを得られます。ただし、セレクションバイアスが存在すると正しい検証結果を得られません。ランダムサンプリングなどの手法を用いることで、セレクションバイアスを除去することが可能です。

ABテストを実施する際は、ユーザーの背景をはじめとするさまざまな要素を考慮し、対策した上での検証が重要だといえます。

成果に繋がる“本気のABテスト”に必要な
おすすめのABテストツール3選

「実行力」のある
ABテストツール3選

正確なテストを高速で回せるツールが、CVR改善の強力な武器となります。
本格的・効率的なデータ検証が期待できる「6つの機能」を網羅しているABテストツールから、
企業タイプ別に3種を提案します。

丁寧なコンサル＆サポートで
自走力を付けたい
成長企業には

DLPO

引用元：DLPO公式サイト
https://dlpo.jp/

こんな担当者にオススメ！
コンサルから学び、
自社の成功パターンを
確立させたい担当者

2007年からサービスを提供し続け、国内No.1の導入実績（800社以上）^※
自社開発だからこその迅速なサポート＆国内市場にフィットした丁寧なコンサルティング
各種DMPとの連携にも柔軟に対応し、外部データを活用した多角的なテストが得意

公式サイトで
事例をチェック

電話ボタン

さらに詳しい
特徴を知りたい

開発・販売：株式会社DLPO

※ 参照元：DLPO公式サイト
（https://dlpo.jp/）
2011～2014年 LPOツール売上額が4年連続1位より

グローバルスタンダードの
定番ツールを求める
安定企業には

Optimizely

引用元：Optmizely代理店公式サイト
https://optimizely.gaprise.jp/

こんな担当者にオススメ！
サイト改善の必要性を
社内に強く提唱
していきたい担当者

全世界で導入実績8,000社の圧倒的な人気を誇る、ABテストの定番ツール^※
米スタンフォード大学と共同開発した統計エンジンにより、短期間で誤差の少ないテスト
MicrosoftやIBMといった世界の名だたるIT企業の導入も多く、参考事例が多い

公式サイトで
事例をチェック

電話ボタン

さらに詳しい
特徴を知りたい

開発：米Optimizely社
国内販売代理店：株式会社ギャプライズ

※ 参照元：Optimizely公式サイト
（https://optimizely.gaprise.jp/ ）
2022年9月時点

マーケティングツールを
はじめて導入する
新興企業には

VWO
（Visual Website Optimizer）

引用元：Visual Website Optimizer代理店公式サイト
https://www.assion.co.jp/lp/05b/

こんな担当者にオススメ！
サイトの分析から
スモールスタート
していきたい担当者

IT企業ひしめくインド発。Disneyやebayをはじめとする全世界2,500社の導入実績^※
ヒートマップやマウストラッカーといったサイト分析が行える機能と、シンプルなUI設計
「可能性」からテスト結果を導き出す検定法により、短期間・少サンプルでも対応可能

公式サイトで
事例をチェック

電話ボタン

さらに詳しい
特徴を知りたい

開発：印Wingify社
国内販売代理店：株式会社アッション

※ 参照元：VWO公式サイト
（https://vwo.com/customers/）
2022年9月時点

【選定条件】
Googleで「ABテストツール」と検索して表示される、ABテスト機能を有するツール44種を調査。（2022年7月15日時点）
「実行力」を持つ指標として、下記の機能を満たすもの、かつ日本語対応しているツールを3つ選定しました。
多変量テスト/複数ページテスト/リダイレクトテスト/セグメント機能/パーソナライズ機能/トラフィックの割り当て機能
また、下記メリットにより各企業タイプ（各担当者）へ推奨としています。
・成長企業 … 充実したコンサルサポートにより、社内のCROリテラシー醸成に期待できる
・安定起業 … 世界的実績数による信頼性から、更なるCRO改善に必要なツール導入提案に有効的
・振興企業 … 分析ツールを有し、小規模実施もできることから、スタートアップのCRO施策に適している

ピックアップ関連記事