かつて、「統計」という言葉を聞くとゾッとしていたマーケターがいたかもしれません。ですが、今日、統計と分析をマーケティング戦略に組み込んでいなければ、取り残されることになります。
Minitabなどの企業はデータ分析を簡単にできるようにしています。 以下のA/Bテストの例のとおり、統計の”池”にそっと足を踏み入れるのはとても簡単です。
A/Bテストとは
A/Bテストは、分割テストまたはバケツテストとも呼ばれる、複数バージョンのバリエーション（Webページ、ページ要素、電子メールなど）を同時に異なるオーディエンスに表示し、どのバージョンが最も影響を与えるかを判断するランダム化実験プロセスです。例えば、メールを複数送信してどれがより多くのエンゲージメントを生成しているかを確認すること、さまざまな広告を使用してクリック率を測定すること、または分割URLテストでWebサイトのトラフィックを対照群（多くの場合、元のWebページ）とバリエーション（新しいデザインなど）の間で分割することなどです。
簡易なA/Bテストの簡易な手法
ほとんどのマーケターが、何らかの形のA/Bテストを行っています。最高のエンゲージメントを促進するコンテンツを判断しようと最善の努力をしていても、結果が統計的に有意かを判断するための仮説検定を実行していない場合がほとんどです。
複数のコンポーネントを同時に変更する多変量テストなど、さまざまな種類のA/Bテストがあります。今日は、2つの対象群を比較する簡易なA/Bテストを見ています。 この目的に最も適切なツールは、2サンプル比率検定と呼ばれる使いやすい仮説検定です。
例1：電子メールキャンペーンのA/Bテストで比率検定を実行する
マーケターがトレーニングコースを宣伝するメールを毎月送信しているとします。 このメールの目的は、トレーニングへの顧客の関心と認識を高めることです。 過去、かなりうまくいっていましたが、それでもパフォーマンスを向上させることができるかを調べたいと思っています。
そして、A/Bテストを実行することにしました。 対象は2,329人の顧客です。 顧客を2つの対象群に分けることにしました。メール1とメール2です。 メール1では、顧客の約50％に、先月と同じメールを送信します。 残りの約50％には、メール2が送信されます。
マーケターはメールを送信します。 メール1は12％の開封率（140回の開封）を取得し、メール2は9.8％の開封率（115回の開封）を取得します。 ほとんどのマーケターが、メール1のパフォーマンスがより良いと言うでしょう。
分析を活用して、この2.2％の差（12％ - 9.8％）が統計的に有意かを判断できます。 ですが、多くの人は活用しません。この答えをすばやく簡単に得るためにどうすべきかを知るのが困難だからです。 3回のクリックと4つの数字で、違いが統計的に有意であるかを知ることができるのです！
その手法はMinitabの2サンプル比率検定です。 サンプルサイズ、信頼水準、観測された開封率に基づいて、これら2つの比率が統計的に異なるかがわかります。 [統計] à [基本統計] à [2比率]で、Minitabにダイアログ ウィンドウが表示され、要約したデータをすばやく計算することができます。 データ（開封に対応する事象とメールの件数に対応するサンプル）を入力して、あとはMinitabにおまかせ！
[2サンプル比率のイメージ]
結論
以下の結果を見ると、95%の信頼区間での対象群間の真の差は、0.022（つまり2.2％）と、ほぼ0の可能性が高いことがわかります。 統計で、これは「2つの比率が等しいという帰無仮説を棄却できなかった」ことを意味します。言い換えると、2群は、95％の信頼水準で統計的に異なりません。メール1の開封率が12％、メール2の開封率が9.8％にもかかわらず、メールのパフォーマンスに統計的な違いはありません。 メールが開封率の違いを生んだと結論を出すのは、間違いである可能性があります。
[差の推定のイメージ]
2つの比率を比較することは、A/Bテスト戦略のメリットを完全に得るのに役立つ手法です。 分析をマーケティング作業に組み込み、チームのデータリテラシーを向上させることで、最終的にはより良い意思決定を促すことができます。
