AAテストって何?ABテストを行う前に必ず実施が必要な理由とは?

オリジナルのAに対して、何かしらの変更を行ったバリエーションBの対決を行うのがABテストです。
AAテストとは、要素の変更を全く行わずに、オリジナルと全く同じバリエーションのテストパターンを立てて、A対Aを比較するテストのことです。

通常、A対Bで違うクリエイティブを対決するから意味があるにも関わらず、
AAテストをわざわざ実施るする理由は何でしょうか??

AAテストを実施する理由

AAテストを実施する理由は、ツールそのものの正確性をはかることが目的です。また、テストを実施する際にツールが正常に動作しているかを確認することができます。

A対Aを実施しているならば、本来ほとんど結果に差が生まれないことが正常な証です。それにも関わらず、例えば1.5倍〜3倍の数値の差が生まれたらどうでしょうか?ABテストを実施しても、その数値が正確でないことが明らかですよね。

AAテストを実施することで、ツールの正確性と動作のエラーを事前に調べることができるのです。

AAテストの実施方法

本記事ではGoogleオプティマイズで設定してみます。

テストの実施方法は非常に簡単で、普段テストパターンで要素を変更していく作業を全く行わずに、バリエーションパターンを作成してテストを実行すればOKです。赤枠の箇所が「0件の変更」になっていることを確認しましょう。

注意!目標の設定を忘れないように
ただし、目標の設定に関しては必ず忘れないように行いましょう。設定しなければ、そもそもの正確性を測ることができません。

結果の検証

AAテストの結果をみていきます。

今回は2つのAAテストを実施しました。基本的に全く同じ結果になることは稀ですが、かなり近しい数値になっていることがわかります。ただし、少なからず差は出ることがほとんどなので、同じバリエーションでも5%程度の差がつくことを前提として理解していることが大切です。この理解があれば、ABテストでの5%程度の差は不確実な結果だということを自分自身が理解できるからです。もしこの理解がなければ、数%の差でバリエーションの勝ち負けを判断してしまうことになります。

※Googleオプティマイズには標準機能として統計的有意性に関する内容として、「最適である確率」を表示してくれていますので、この数値を信頼すれば安心ではあります。今回の2つのAAテストだと、50%対50%、49%対51%となっていますので、どっちを選んでも大差がない結果となっています。つまりこの結果から、ツールの正確性が正しいことと、ツールが正常に動作していることがわかりました。

これらの結果から、統計的な誤差がどの程度発生するかを理解しておきましょう。また、新規/リピートの割合、顧客属性、商品特性、サービス内容、などによって数値に差が生じます。そのため、数値の信憑性を高めたい場合は各サイトごとにAAテストを実施するのがベストといえます。

的確なデータを取得することの重要性

データ分析を行ううえで最初に注意するべき点は、そのデータが信頼できるデータかどうか検証することです。
施策に対して数値データの結果が出れば、多くの人はそのデータを信用します。つまり、逆にそのデータが正しくない場合は非常に危険な意思決定基準となっている可能性があるためです。

ABテストの良さは、同時期にテストができるため、シーズナリティや競合の状況によってデータが影響を受けないことにあります。今までAAテストを行わずにABテストを行ってきたならば、是非一度このタイミングでAAテストを実施してみてはいかがでしょうか?

AAテストが問題なく完了したら、ABテストを実施していきましょう。ちなみにOsenABのサービスを使えば、社内にノウハウやリソースがなくても一括でABテストを依頼することができます。CVRを平均150%改善の実績もありますので、是非一度検討してみてください。

PDCAを回してWebサイトの改善を継続的に実施していきましょう。

           

シェアお願いします!