Original

「Google Optimize (BETA)」で無料かつ楽にA/Bテストを設定しよう (結果確認編)

こんにちは、小川卓です。

今回はGoogleが提供開始予定の「Google Optimize」の結果画面について詳しく確認をしていきましょう。準備方法に関しては前回の記事を御覧ください。

▼関連記事:
「Google Optimize (BETA)」で無料かつ楽にA/Bテストを設定しよう (準備編)

 

Google Optimizeの結果を確認しよう

 

結果は「Experiments」内にある、「Reporting」アイコンをクリックすることで確認ができます。結果画面のそれぞれの内容と意味を確認してみましょう。

 


一番上の青いバーでは、アドバイスが表示されます。ここでは「まだ実験を続けてください。最低2週間は実施することを推奨します」といったような内容が記載されています。テストが完了し明確な勝者がいる場合はその旨、記載されます。

その下にはテスト対象のセッション数が表示されます。全体の数値と日ごとに推移を追うことが出来ます。ここではページビュー数ではなくセッション数になっています。それは同じセッションの場合は同じパターンが表示され続けるためです。同じ訪問で、違うパターンが表示されてしまうとユーザビリティが悪くなってしまうのでこのような処理になっていると考えられます。

その下にはテストパターンごとの全体結果が表示されています。表の各項目の意味は以下のとおりです。

Variant:
テストパターンの名称
閲覧ページ3以上・Bounces・Session Duration:テストを行った時に設定した目標です。メイン1つ、サブで2つまで設定することができます。

baseline:
基準という意味で、オリジナルはbaselineと表示されます

-12.49%:
Baselineとテストパターンの差をパーセンテージで表したものになります。今回の例ではオリジナルのコンバージョン率が15.65%、テストパターンが13.69%なので、(13.69%-15.65%)/15.65% という式で計算されています。他の指標に関しても同じで、-の場合はオリジナルの方が良い、+の場合はテストパターンのほうが良いという意味になります。

各評価項目の詳細を見ることもできます。以下を見てみましょう。

 


こちらもそれぞれの列をチェックしてみましょう。

 

Improvement:
前述の通り、Baselineからの比較の数値になります。

Session Durationの隣の列:
実際の数値です。ここでは滞在時間を見ているので、滞在時間が記されています。カッコ内の数値は95%の確率でこの数値内で収まるという上限と下限の値になります(統計学では「信頼区間」と呼ばれます)。上記の例の場合、オリジナルは5分18秒から15分45秒の間に収まるという意味です。

Total Session Duration:
合計の滞在時間です。

Experiment Sessions:
実験対象となったセッション数です。 Session Duration = Total Session Duration ÷ Experiment Sessionsで計算されます。

Probability to beat baseline:
オリジナルに対して勝利する可能性が%で表示されています。

Probability to be Best:
全部のパターンの中で勝利する確率を表したものです。複数のパターンをテストしている場合やマルチバリエイトテストの際に見ると良いでしょう。

最後に時系列でのグラフも表示されます。

 


上記のように、各パターンの数値が収束していくのがおわかりいただけるかと思います。上記の図は直帰率なので、今回はオリジナルのほうが勝つ(=直帰率が低い)確率が非常に高いと言えそうです。

マルチバリエイトテストに関しても基本的には表示される内容は一緒です。

 


上記のように組み合わせ単位での結果が表示されるため、ABテストよりは行数が大きくなりますが、見る事が出来る内容は一緒です。

なお、Google Optimizeで設定したテストは、Google アナリティクス上でもその結果を確認することができます。紐付いているビューの「行動>ウェブテスト」内で確認できます。

 


Optimizeで作成したテストが自動的にウェブテストに登録されており、テスト名をクリックするとGoogle アナリティクスのフォーマットで結果を確認することができます。

 


なお、Google AnalyticsとGoogle Optimizeの結果は一致しないケースがあります。集計のタイミングやコンバージョン率が実数値なのかモデル値なのかの違いなどによって数値に若干の差異が出ます。詳しく違いについて知りたい方は、公式ヘルプの以下のページを見てみると良いでしょう。

▼参考:
​Differences in Optimize and Analytics reports

 

A/Bテストのよくある疑問に関して

セミナー等でも時々聞かれるのですが、A/Bテストの実施期間や、テストに必要なPV数について最後に言及しておきたいと思います。まず期間に関してですが、こちらはテストサンプル数と季節変動に連動します。サンプル数が少ない(=アクセス数が少ない)サイトの場合はテスト期間が長くなりますし、多い場合は短くなります。ただ多い場合は、平日と週末でユーザー行動が違う場合は少なくとも一週間はほしいところです。Google Optimizeも最低二週間はテストしたほうが良いという記載があった通り、サンプル数が多いサイトでもやはり二週間は見ておきたいです。

具体的な数値に関して筆者は、「結果が100サンプルたまるまで」という言い方をします。ここで言う結果は、テスト数ではなく評価したい指標がテストパターンごとに100サンプルたまるまでという意味です。アクセス数が少ないサイトでコンバージョン数を目標にしてしまうと、数ヶ月かかってしまう可能性があるので、その場合は「商品閲覧」「カート追加」など中間コンバージョンで計測するという形を取ることもあります。ただしこれよりも少ないサンプル数で数日間、安定して明確に差がでている場合(例:勝つ確率が90%をずっと超えている)場合はそれを結論してしまう事もあります。

 

 

まとめ

2回にわたりGoogle Optimizeについて紹介してきました。

オープンになったタイミングで多くの人が利用するツールになるのではという風に感じました。有料のA/Bテストツールと較べるとセグメントの自由度や作れるテスト数に制限があるものの、気軽にA/Bテストを実行出来るという意味ではとても良いツールになるかと。これによりGoogle OptimizeがGoogle アナリティクス程流行るかというと懐疑的ではありますが、今までお金やソースコードを修正する手間などの理由からA/Bテストに取り組むことができなかった企業にとっては良い機会になるのではないでしょうか。個人的にも継続して利用してみようと思います!

▼前回の記事もぜひお読みください
「Google Optimize (BETA)」で無料かつ楽にA/Bテストを設定しよう (準備編) 

 

 

小川 卓

小川 卓

ウェブアナリストとして、マイクロソフト・ウェブマネー・リクルート・サイバーエージェント・アマゾンジャパンで勤務後、フリーに。複数社のChief Analytics Officerとして活動する傍ら、個人でもコンサルティング・勉強会・執筆などの活動を行っている。 主な著書に「ウェブ分析論:増補改訂版」「ウェブ分析レポーティング講座」「漫画でわかるウェブ分析」「Webサイト分析・改善の教科書」など。

ホワイトペーパーダウンロード

【今日から実行できる5つのマーケティングメソッド】

創業より10年以上、Webマーケティングの最前線で弊社が得てきた効果をあげるためのノウハウ(全83ページ)を無料でダウンロードできます。

コンテンツマーケティングはもちろん、本当に効果の出るWebマーケティングを実践できるマニュアルとなっていますので是非お気軽にダウンロードしてください。

この内容で送信します。よろしいですか?