私は以前に、マーケティング担当者は（少なくとも）A/Bテストを適切に実行するために、1つの基本的な統計手法を知っておくべきであると述べました。ある程度の知識を身に付けることで、統計に関する不安が原因でマーケティングのキャリア促進が妨害されなくなり、もう少し挑戦的な課題に取り組めるようになります。A/B/Cテスト。
A/B/Cテストとは
A/B/Cテストは、A/Bテストと同様、管理された実験の一形態です。A/B/Cの場合、変数（ウェブページ、ページ要素、電子メールなど）の3つ以上のバージョンをテストします（そのため、A/Bに “C” が追加されています）。たとえば、複数の電子メールを送信して、より多くのエンゲージメントを創出しているメールがどれか確認したり、さまざまな広告を使用してクリックスルー率を測定したりするなど、3つ以上のバージョンを比較して、どのバージョンのパフォーマンスが優れているかを判断するために使用できます。一般的な使用例の1つは、複数のバリアントに対して標準グループまたは対照グループを比較することです。たとえば、現在のウェブページを2つの代替ウェブページデザインに対してテストして、オリジナルのデザインと2つの比較対照のどちらのデザインがより多くのコンバージョンを促進するかを確認します。
以前にも述べたように、複数のコンポーネントを同時にテストするツールなど、実行できるテストは数多くあります。今日は、1つの測定で3つのバージョンを比較する、シンプルなA/B/Cテストについて説明します。これは、電子メール、広告、ウェブページの開封率またはクリックスルー率などです。
分類木と回帰木について詳しく学ぶ – 予測分析の問題を解決するための強力なアプローチ
2値ロジスティック回帰の概要
2値ロジスティック回帰分析は、一連の予測子とバイナリ応答の間の関係を記述するために使用されます。バイナリ応答には、合格または不合格などの2つの結果があります。マーケティングでは、多くの場合、クリック、開封、またはコンバージョンに置き換えられます。2つのアプローチのみを比較する場合は、2比率検定のような、よりシンプルな方法も利用できます。
A/B/Cテストの例
マーケティング担当者が、自社のウェブサイトへの訪問者を増やすために、ソーシャルメディア上で定期的な広告キャンペーンを実行していると想像してください。彼らは、どの広告が最もクリック数を増やすかを確認するために、さまざまなバージョンの広告を使用してA/B/Cテストを実行することにしました。各広告について20,000インプレッションを目標としてテストを実行し、結果を収集してグラフ化します。個別値プロットに基づくと、バージョンAのパフォーマンスがオリジナルやバージョンBよりも悪かったことは明らかですが、オリジナルから移行するために統計的に有意な差があるかという疑問は残ります。
2値ロジスティック回帰によるテストの分析
収集したデータで、Minitabを使用して2値ロジスティック回帰モデルを当てはめることができます。
[統計] > [回帰] > [2値ロジスティック回帰] > [2値ロジスティックモデル適合] と移動すると、Minitabのダイアログウィンドウが表示されるので、「事象/トライアル形式の応答」を選択し、イベント（クリック）とトライアル（インプレッション）を入力します。そして、テストする項目として「広告」を選択して、Minitabにモデルを構築させます。
結果の分析による結論
ここで、統計について少し説明する必要があります（量は多くありません。少しだけ統計について学んでください）。下の表を見ると、2つの事象（この場合、異なる広告をクリックすること）の確率を比較したオッズ比が示されています。 Minitabでは、レベルAとレベルBの2つの列にレベルをリストすることによって比較を設定します。レベルBは因子の参照レベルです。オッズ比が1より大きい場合は、その事象（この場合はクリック）がレベルAで発生する可能性が高いことを示します。オッズ比が1より小さい場合は、レベルAでクリックが発生する可能性が低いことを示します。
表に関して、バージョンAとオリジナルを比較すると、オッズ比が1より小さいということは、バージョンAでクリックが発生する可能性が低いことを意味します。表を下に見ていくと、バージョンBの方がオリジナルとバージョンAの両方よりもクリックが発生する可能性が高いことがわかります。これにより、グラフにして比較した内容を検証することができますが、ではその他の情報はどこにあるのでしょう？
2番目の列の95%信頼区間を確認すると、データに対するさらなる洞察が得られます。これらのタイプの分析では、範囲内に1を含む信頼区間（95% CIが0.9882、1.1038であるバージョンBとオリジナルのような場合）は、クリックされる確率とクリックされない確率が2つのグループで本質的に同じであることを示します。
このテストの結果から、バージョンAは最もパフォーマンスの悪い広告であり、保持する価値がないことが明白です。ただし、オリジナルをバージョンBに自動的に置き換えるのは間違いになりかねません。次のステップは、a）テストをオリジナルとバージョンBを比較するA/Bテストに改良するか、b）「一貫したメッセージングを維持する」または「メッセージングを更新する」などの定性的な理由で、結果の妥協を気にせずにオリジナルまたはバージョンBを選択することです。
独自のA/B/Cテストを実行する - Minitab Statistical Softwareの無料トライアルをダウンロードする
