マーケティング担当者であれば、プロモーションメールを送信して、後はただ最善の結果を期待するだけという対応が最善の方法ではないことをご存知でしょう。理想的には、時間をかけてメールのパフォーマンスを調査し、その効果を向上させるための対策を見つける必要があります。
わずかな労力で、サンプルの読者に2つのバージョンのマーケティング用メールを送信し、成功の指標を比較してから、最適なバージョンをすべての読者に送信することができます。こうすることで、開封率やクリックスルー率などの成功指標に基づいて最適なバージョンを特定できます。
開封率とは、メールを受信した人のうちメールを開封した人の割合です。クリックスルー率は、メールを受信し、メッセージ内の少なくとも1つのリンクをクリックした連絡先の割合です。これは、単にメールを開くよりも高いエンゲージメントを示します。
Minitabのマーケティング チームで、これがどのように機能したかの使用事例を紹介します。A/Bテストを実行して2つのバージョンのメールを比較し、成功指標としてクリックスルー率をチェックしました。
チームは、手順の概要を示すプロセス マップを使用してテストを文書化しました
MinitabのWorkspace Software® を使用したプロセス マップの詳細については、Blog Getting Started with Process Maps（プロセス マップを使用して開始するブログ） >を参照してください。
私たちは、テストを実行する前に次の質問をしました。
- 成功指標を十分な精度で推定できるようにするには、メールの2つのバージョンをテストするための必要なサンプルサイズをどのように決定すればよいか？
- 成功に関する特定の違いを検出するには、メールの2つのバージョンをどのように比較すればよいか?
どちらの質問にも成功指標のベースラインが必要なため、過去のデータを使用して推定しました。私たちは、同じ対象者を対象とした同様のマーケティング用メールの成功指標のベンチマークが何であるかを知りたいと考えました。この例では、ベンチマークは、100,000人の読者のうち340人がメールに挿入された1つまたは複数のリンクをクリックした、類似の視聴者に送信された同様のメールです。ベースラインのクリックスルー率は0.34%です。
実践する:
メールの2つのバージョンの成功を比較するためのサンプルサイズを計算する最初の方法:
Minitab® Statistical Softwareの「Sample Size for Estimation（推定用サンプルサイズ） 」テストを使用してサンプルとする読者の数を計算し、一定の誤差範囲内でクリックスルー率を推定できます。
たとえば、少なくとも10倍大きい母集団、つまり合計で少なくとも100,000人の読者から、10,000人の連絡先のサンプルサイズを取得することにしましょう。予想クリックスルー率がベンチマークの0.34%である場合、95%レベルの下限は0.21%、上限は0.47%となります。
Minitab Statistical Software® で、Stat（統計）> Power and Sample Size（検出力とサンプルサイズ）> Sample Size for Estimation（推定用サンプルサイズ）の順に選択します。クリックスルー率の95%信頼区間は0.24%から0.47%の間になります。
サンプルサイズは母集団のサイズに比べて小さいため、サンプルデータをモデル化する二項または超幾何分布でも同様の結果が得られます。クリック率の誤差幅が許容範囲内であり、この成功指標を十分な精度で推定できるかどうかを判断するのは自分です。
メールの2 つのバージョンの成功を比較するためのサンプルサイズを計算する2つ目の方法:
Minitab Statistical SoftwareでStat（統計）>Basic Statistics（基本統計）>2 Proportions（2比率）メニューの順に選択して2比率検定にアクセスし、必要な確率または検出力に基づき、2つのメールバージョンのクリックスルー率間の特定の差を検出するために必要なサンプルサイズを決定できます。
最初のメールキャンペーンのベンチマーク クリックスルー率は0.34%です。各メールバージョンで10,000件の連絡先のサンプルサイズを選択した場合、検出できるクリック スルー率の変化は、90%のケースにおいて0.34%～0.63%となります。
Stat（統計）>Power and Sample size（検出力とサンプルサイズ）>2 Proportions（2比率）の順に選択し、サンプルサイズを決定します。
クリックスルー率のより小さい差を検出したい場合、サンプルサイズを増やしてテストの感度にどのような影響があるかを確認できます。
自分で比較するためのサンプルサイズを決定できるようになりましたか? Minitab Statistical Softwareの無料トライアルを開始しましょう >
送信された2つのメールバージョンのそれぞれの成功を比較するうえで役立つ統計テストは何ですか?
テストが実行されたので、結果を比較して、最適なバージョンのメールを選択したいと思います。
メールの2つのバージョンごとの配信数、開封数、クリックスルー数
この説明表ではバージョンBのパーセンテージが高いように見えますが、この例でチームが注目している成功指標、つまりクリックスルー率にとってその差が有意であるかどうかを統計的テストを使用して確認することが重要です。
この統計テストは2サンプル不良率と呼ばれ、Minitab Statistical SoftwareのAssistant(アシスタント)メニューからアクセスできます。従来、このテストは、サンプリングを通して2つの母集団の不良率の違いを示すために使用されています。この例では、参照イベントは不良ユニットではなく、クリックスルーです。つまり、不良率が高いということは、クリックスルー率も高いということです。
Assistant（アシスタント）> Hypothesis tests（仮説検定）> Compare two samples with each other（2つのサンプルを比較）> 2-sample % defective（2サンプル不良率）を使用して、メールの2つのバージョン（バージョンAとバージョンB）のクリック率を比較します。
アウトプットは、データの解釈方法に関するガイドラインとなります。
統計アウトプットから、データが10％の有意水準で、バージョンAの不良率 (ここではクリックスルー率) がバージョンBよりも大幅に低いと結論づけるのに十分な証拠を提供していることが分かります。
理由は簡単です。各メールバージョンは、推奨サンプルである10,000人の読者に配信されませんでした。多くの実体験と同じく、このテストは推奨条件の下で実行できませんでした。
使用されたサンプルサイズでは、その差がある場合、メールバージョンAからBの間でクリックスルー率が約1%増加した場合にのみ、その実際の増加を検出できます。
チームは、テストの検出力を高めるためにサンプルの追加を選択するか、もしくは、クリックスルー率が統計的に有意でないことが示されていても、どちらか一方のメールバージョンを選択することを決定できます。チームは同様の方法を使用して開封率を比較し、比較のための別の要素を取得することもできます。
A/Bメールテスト 、またはA/B/Cメールテストに関する詳細コンテンツにご興味がある場合は、Blog（ブログ）をお読みください。
