マーケティングで毎日数多くの判断を下していると、ある程度時間をかけて何かを実験しようとは思わないかもしれません。
無料
効果的なA/Bテストの実施法をご紹介
無料キット
・効果的なA/Bテストの実施法
・テストの対象要素
・A/Bテストの実施方法と評価方法
・テスト結果を追跡するための評価ツール
・テスト内容の改良に役立つテンプレート
Eメールを作成したり、ランディングページを新しくデザインしたり、ソーシャルメディアで面白いアップデートを投稿したりと忙しく、テストの準備や、トリートメント（働きかけ）の最適化や、帰無仮説の棄却に時間を割く余裕などないというのが現実でしょう。
ですが、テストの準備などを後回しにせず、積極的に取り組むことによって、Eメールやランディングページ、ソーシャルメディアなどのマーケティング活動が大きく変わり、データを基に確実な判断を下せるようになって、より多くのリードを獲得できるとしたらどうでしょう。
それを可能にするのがA/Bテストです。A/Bテスト（スプリットテストとも呼ばれます）では、1つのコンテンツ（ランディングページ、Eメール、CTAなど）に対して2つのバージョンを用意し、それぞれを同じくらいの数のオーディエンスを対象としてテストします。
テストの結果を判断する際には、必要とされる信頼度（95%）があり、統計的に有意かどうかも考慮されます。マーケティングにA/Bテストを利用すると、アセットを最適化できるため、リードの数を増やしたり、より多くの顧客を獲得したりするのに役立ちます。
このようにA/Bテストは非常に効果的であるにもかかわらず、なかにはA/Bテストについて誤った考えを持つ人もいます。事実とは言えないA/Bテスト誤解が数多く存在し、優秀なマーケターがデータを基に正確な判断を下すのを妨害しています。
今回はこの障害を取り払うために、世の中に出回っている有名なA/Bテスト誤解の間違いを明らかにしていきます。
A/Bテスト完全キット
HubSpotが提供するお役立ち資料が無料で今すぐダウンロードいただけます。
- HubSpotが提供する資料
- 資料はすべて無料
- ビジネスに役立つ情報満載
- ダウンロード後すぐに閲覧可
今すぐダウンロードする
全てのフィールドが必須です。
誤解１： A/Bテストよりもマーケターの勘の方が正しい
どれほど才能が高く経験豊富なマーケターでも、失敗することはあります。長いあいだマーケターを続けていれば、訪問者をリードに、リードをカスタマーにコンバートするための確実な方法はだいたいわかってくるでしょう。ですが、勘だけを頼りに判断を下すのは危険です。
A/Bテストを行うと、テストの結果に基づいてウェブサイトのトラフィックを増やし、コンバージョン率を高めることができます。調査によると、A/BテストによってB2Bサイトのリードは30から40%増加し、eCommerceサイトのリードは20から25%増加したそうです。
要するに、キャリアの長い人の言うことを聞いてばかりいると、自分の能力を生かすチャンスを逃してしまうということです。覚えておきましょう。
誤解２： 何かを判断する前に必ずA/Bテストを行う必要がある
何かを判断する際、A/Bテストは非常に役に立ちますが、テストをしなければ何も決められないというのでは困ります。たとえば、ガイドブックのタイトルを「マーケターのためのPinterestガイド」と「マーケティングのためのPinterestガイド」のどちらにすればクリックスルー率がより高くなるかテストするのは無駄というものです。
同じく些細な違いでも、CTAの色などであればテストする価値もあるでしょうが、「マーケター」を「マーケティング」にするくらいでは、コンバージョン率は変わらないと思います。それよりも、タイトルの配置を決めるような場合であれば、A/Bテストを行うのが妥当でしょう。
誤解３： A/BテストはMVTテストほど効果がない
A/BテストとMVTテスト（Multi-Variate Test：多変量テスト）は、どちらもマーケティングの判断を下すために非常に有効ですが、この2つは目的がまったく違います。A/Bテストは1つの要素を2種類以上の要素でテストするのに対し、MTVは複数の要素を複数の要素の組み合わせでテストし、それぞれの効果を調べるために使用します。
たとえば、CTAの色がコンバージョン率にどのように影響するかをA/Bテストで調べる際には、そのページのCTA以外の要素はすべて同じにします。すなわち、トラフィックの流入元、訪問者のタイプ、フォームのレイアウト、そしてCTAのコピーや画像に至るまでまったく同じにすることで、「CTAの色の違いがコンバージョンにどう影響するか」というただ一つの率直な疑問だけに答えるようにします。
A/Bテストでは、異なる要素の組み合わせ（つまり、CTAの色の違いを、フォームに含まれるフィールド数や、画像の種類を変えながら調べる）がコンバージョンにどう影響するかを調べることはしません。
このように、A/BテストとMVTテストは、どちらかがより効果的というわけではなく、種類も目的も異なる2つのテストと言えます。
誤解４： あるウェブサイトで効果の高かった要素は、すべてのサイトで取り入れるべき
レイアウトやデザイン、コピーの違いによる影響をA/Bテストで調べた結果、コンバージョン率が向上したことを紹介するケーススタディはいくらでも見つかります。しかし、他のマーケターが成功させた方法を、テストもしないでやみくもに取り入れることは絶対にしないでください。
トラフィックやオーディエンス、プロダクト、マーケティングファネル、プロモーションなど、条件がさまざまに異なれば結果も当然違ってくるからです。どこかのウェブサイトで上手く機能したからといって、自分のサイトでも同じだとは決して思わないでください。
そうは言っても、アイデアに困ったときなどには、他のマーケターのやり方を真似ることから始めると、効率が良くなる場合があります。たとえば、Eメールのクリックスルー率を改善するために、差出人の名前をパーソナライズしてみようと考えたことはありませんか。
HubSpotは2011年に、メールの差出人に表示する名前をマーケティングチームの個人名に変えた場合に、クリックスルー率がどのように変化するかを調べようとテストを行いました。その結果、差出人を「Hubspot」と表示した場合のクリックスルー率は0.73%でしたが、「Maggie Georgieva, HubSpot」のように個人名を表示すると、クリックスルー率は0.96%まで上昇し、個人名を表示した方が効果が高いことがはっきりと（信頼度99.9%で）わかりました。
このトリートメントはHubSpotのオーディエンスでは効果がありましたが、同じ結果になる企業もあれば、そうでない企業もあると思います。必ずご自身でもA/Bテストを実施し、自社のオーディエンスにおいて、そして自分たちのマーケティングにおいてベストな方法を見つけるようにしてください。
誤解５： A/Bテストには高い技術力と予算が必要
A/Bテストに高い費用がかかるというのは必ずしも正しくありません。マーケティング予算がほとんどゼロに近いというのであれば、Google AnalyticsのContent Experimentsなどの無料のテストツールを利用することもできます。ただし、無料のツールを使用する場合は、導入の際に技術的知識がいくらか必要になります。
たとえばHubSpotのオールインワンマーケティングソフトウェアなど、有料のテストツールであれば、導入に多少のコストがかかりますが、技術的な負担はかなり減ります。無料のツールと比べれば当然、費用は高くなりますが、導入してすぐに使い始めることができるため、その分間接費は抑えられます。
技術的な面や予算面のほかに、A/Bテストを適切に行うためには数字に強くなくてはなりません。結果は常に統計的に有意であることが求められ、結果が表す意味を理解することや、それをマーケティング施策にどう生かすかを考えることも必要になります。
要するに、必要とされる技術的および数学的知識は、それぞれの予算の額に応じて変わります。予算が低くても工夫や努力次第でA/Bテストは十分に行えますので、どうか諦めないでください。
誤解６： A/Bテストが有効なのは莫大なトラフィックのあるサイトだけ
A/Bテストでは2種類の要素に対して調査を行うだけなので、結果を得るために莫大な訪問者を集める必要はありません。統計的に有意であること（結果の信頼度が95%以上）を証明できさえすれば大丈夫です。
確かに、訪問者の数が多ければ多いほど、何が効果的で何が効果が低いかをより正確に調べることができますが、どのような条件でも必ず必要となる対象者の最低人数というものは存在しません。必要なのは、A/Bテストの結果が統計的に有意であると証明できるだけの人数を確保することです。
誤解７： A/BテストはSEOに悪い影響を与える
A/Bテストに関連してよく聞かれるのが、SEOへの影響はどうかという質問です。同じコンテンツに対し複数のバージョンを作成してテストすると、Googleのアルゴリズムがそのウェブサイトを重複コンテンツと見なすため、ペナルティが課されてSERPに表示される順位が下がると思っている人が少なくないようです。
この誤解も完全に間違いです。実際には、Googleは重複コンテンツのペナルティを受けることなく、ウェブサイトの訪問者やコンバージョンを増やすことができるテスト方法を、ガイドラインを作成して説明するとともに、このテスト方法を推奨しています。
一方、有料のA/Bテストソフトウェアを使用すれば、このような心配はすべて自動で解決されます。いずれにしても、検索エンジンに見つけてもらいやすくすることは、インバウンドマーケティングでは不可欠ですので、費用または手間をかけて解決することが重要です。
誤解８： テストの結果がすぐに明らかになったら、その時点でテストを終了してよい
A/Bテストでは、結果が統計的に有意な状態になるまで終了させないことが非常に重要です。訪問者の数だけでなく、A/Bテストの実施時間についても、統計的に有意になるまで待つ必要があります。たとえどちらか一方が明らかに効果が高いことが開始してすぐにわかったとしても、テストの対象者数や実施時間が統計的に有意になっていない間は、テストを続けなくてはなりません。
テストの結果を最後まで確認せず途中でやめてしまうと、誤ったデータを基にマーケティングの選択を行ってしまう恐れがあります。これは費用の面でも損失が大きいので避けるべきです。統計的に有意になるまでに必要なテスト時間を、Wingifyのこちらのサイト（英語）で計算できますのでお試しください。
誤解９： 見栄えの良さがテスト結果にも常に反映される
A/Bテストのそもそもの目的は、主観的な考えではなく、テストによって得た結果を生かして、マーケティングの効果を高めることにあります。ランディングページ、Eメール、CTAなどについてA/Bテストを何度も行っていると、必ずしも綺麗な方が結果が良くなるとは限らないことがわかってきます。
見栄えは良くなくても、コンバージョン率がもう一方（綺麗な方）より高くなることもあり得ます。見た目だけで判断するのではなく、A/Bテストの結果を見てマーケティングに生かすようにしましょう。
誤解１０： A/Bテストは1つのコンバージョン率を調べるためだけに行う
A/Bテストは1つの指標だけに注目して行うものではありません。要素の違いによって、複数の指標にどのような影響が現れるかを調べる必要があります。一点だけに注目していると、他の顕著な、そして重要な洞察を見落としてしまう恐れがあります。
たとえば、CTAの色の違いがビジネスブログのコンバージョンに与える影響を、A/Bテストを行って調査するとします。その場合、獲得する購読者の数だけに注目するのではなく、訪問者がリードにコンバートした数や、リードがカスタマーにコンバートした数も調べる必要があります。
そうすることにより、たとえば購読者へのコンバートを大幅に増やした色が、同時にリードへのコンバートを減らす色でもあったことが明らかになる場合があります。リードの数を犠牲にしてでも購読者を増やしたいのであれば、それでかまいませんが、リードの方を増やしたいというのであれば、CTAの色をすぐに戻さなければならなくなります。
このように、テストの結果を分析する際には、1つの指標にだけ注目するのではなく、観点を増やして調べることが重要です。
誤解１１： A/Bテストは実施したらそれで終わり
A/Bテストを開始し、信頼度が十分に高まるまで対象者を集め、結果を調べてどちらか一方を選択する。以上で完了...というわけにはいきません。結果が明らかだったかどうかにかかわらず、テストを継続的に行ってコンテンツの最適化を進める必要があります。A/Bテストは一度だけ実施する実験とは違います。マーケティングを継続的に調整し改良するために行うものです。
たとえば、赤色のCTAボタンと緑色のCTAボタンでどちらが効果が高いかをA/Bテストを行って調べるとします。そして、赤と緑のどちらの色を選ぶかが決まったら、今度はボタンのコピーを変えて、どちらの方がコンバージョン率が高くなるかを調べる必要があります。
A/Bテストを継続的に行うことによって、結果のデータを基にマーケティングの判断を下すことができ、スマートかつコスト効果の高い方法でビジネスを成長させていくことが可能になります。
他にも間違ったA/Bテスト誤解をご存知でしたらお知らせください。
編集メモ：この記事は、 2013年3月に投稿した内容に加筆・訂正したものです。Ginny Soskeyによる元の記事はこちらからご覧いただけます。
画像クレジット： Ken's Oven
