Home
アナリティクス アカデミー
Google アナリティクス
パートナー
Help
Firebase での A/B テストの改善について
2017年11月21日火曜日
この記事は、Google アナリティクス ソリューション 英文ブログ記事 「
Better A/B Testing with Firebase
」を元に構成しております。
今年になり、Google オプティマイズ チームと Firebase チームの協力によって、Firebase に A/B テスト機能が導入されました。そして先週の Firebase デベロッパー サミットで、すべてのアプリ デベロッパーを対象に A/B テストのベータ版の提供が始まったことが発表されました。
この投稿は「
The Firebase Blog
」に掲載された記事の再掲です。
Firebase での A/B テストの改善について
アプリ デベロッパーの間ではご存知の方も多いと思いますが、アプリの長期的な成功において、小さな変更が大きな役割を果たすことは少なくありません。[購入] ボタンにどんな語句を表示するか、登録手順のダイアログをどの順序で表示するか、ゲームの個々のレベルの難易度をどの程度にするかなど、細部へのこだわりが結果的に大きな違いを生み、上位ランクに食い込むアプリになるか、日の目を見ないアプリになるかを決定づける可能性があります。
では、アプリに加えた変更が適切だったかどうかは、どうやって確認すればよいでしょうか？もちろん、情報に基づいて推察したり、友人に尋ねたり、フォーカス グループを利用したりする方法もあるでしょう。しかし、最も確実な方法は、アプリに加えた変更にユーザーがどのように反応するかを実際に試して確認する方法で、そのために用意されたのが A/B テスト機能です。A/B テストでは、アプリの 2 つのバージョンを同時にリリースし、ランダムに選ばれたユーザーにいずれかを提供し、どちらのバージョンがお客様の目標達成に効果的かを実際に確かめることができます。
これまでも Firebase Remote Config の「ランダム割り当て」条件を使って、シンプルな A/B テストを実施することはできました。しかし、このたび Firebase のテスト機能を進化させ、Remote Config や通知機能と連携して機能するまったく新しいテストレイヤを追加して、高度な A/B テストの設定と測定が簡単にできるようになりました。この新しい A/B テスト機能の概要をご紹介します。
新しい A/B テスト機能の概要
新しい A/B テスト機能によって、作成した A/B テストの値の組み合わせを Remote Config を通じて自由に管理できます。また A/B テストの設定時に、テストの具体的な方法を決めるさまざまな要素を指定できます。たとえば、最初の時点でテストに含めるユーザーの割合を指定したり…
…テストするパターン数を指定して、それぞれのパターンに特有の動作を指定したり…
...テストの目標を指定したりできます。
目標はテストごとに異なると考えられるため、A/B テストでは一般的な目標を数多くご用意しています。たとえば、アプリの全体的な収益向上や顧客維持率の向上、クラッシュ回数の低減、Firebase 向け Google アナリティクスで測定しているイベント（例: アプリ内チュートリアルの完了）の発生回数の増加などを目標として指定できます。
お客様が A/B テストの設定を完了すると、それ以降の作業は Firebase が引き継ぎ、お客様のユーザーの中からランダムに選ばれた対象者にアプリの異なるパターンを配信していきます。そして、継続的にユーザーの行動を測定し、お客様が事前に指定された目標に基づいて、成果の高いパターンが明らかになった時点でお客様に通知します。Firebase の A/B テストでは、ベイズ統計モデルを使って結果が測定されます。この統計モデルは、ウェブサイトのテストとカスタマイズをサポートする Google の無料サービス
Google オプティマイズ
で使われているものと同じです。
A/B テストでアプリの新規ユーザー向けプロセスを改善: 事例紹介
生活習慣の改善をサポートするアプリ
Fabulous
では、Firebase の A/B テストを使い、アプリの新規ユーザー向けプロセスを改善しました。これまで新規ユーザーに課していた「1 つの習慣を身に付ける」「生活習慣の改善に関する手紙を読む」「簡単な日課を実践する」といった課題のステップをいくつか省略することで、新規ユーザー向けプロセスを完了するユーザーが増えるかもしれないと考えたのです。
一般的な Fabulous 新規ユーザーに表示される画面の例
そこで A/B テストを実施して、手紙を読まないパターン、シンプルな日課を実践しないパターン、その両ステップを省いたパターンを使ったアプリを、それぞれ一部のユーザーに配信しました。その結果、新規ユーザー向けプロセスから両方のステップを省いたパターンで、プロセスの完了率が 7% 改善しました。さらに、新規ユーザー向けプロセスを短くしても、アプリのユーザー維持率には影響しないという重要な事実も確認できました。
通知もテストしよう
Firebase Notifications コンソールを使えば、アプリの通知メッセージでも A/B テストを実施できます。複数のパターンをテストして、アプリの起動につながりやすいメッセージや、お客様の目標とする行動（アプリ内購入など）をユーザーが取りやすいメッセージを見極めることができます。
ご利用にあたって
A/B テストは本日 Firebase の全ユーザーを対象に、ベータ版での提供が始まりました。ご利用の際には必ず事前に Remote Config や Firebase Cloud Messaging が使えるようにアプリを設定し、関連するライブラリを最新バージョンに更新しておいてください。A/B テストの詳細については、Google 提供の
ドキュメント
や、動画シリーズ「
A/B Test Like a Pro
」をご覧ください。
Firebase コンソールからテストを実施して、アプリの改善を図りましょう。なお、テストは一度に 1 つだけ実施してください。
投稿者： Todd Kerpelman - Google Firebase チーム
ラベル
A/Bテスト
5
Ads Data Hub
1
AdSense
5
AdWords
19
AdWords 連携
21
AMP
4
Analytics
1
Analytics 基本
5
API
2
BigQuery
11
Cookie
1
CPA
1
DCM
1
DFP
3
DoubleClick
11
DoubleClick Campaign Manager
1
DoubleClick for Publishers
3
e コマース
2
Firebase
8
Firebase Analytics
4
Firebase 向け Google アナリティクス
2
ga.js
2
GA4
12
GACP
18
GCP
1
Google Ads
1
Google Cloud Platform
1
Google Consumer Surveys
2
Google Insights for Search
1
Google アド マネージャー
1
Google アトリビューション
3
Google アナリティクス
34
Google アナリティクス 360
36
Google アナリティクス 360 スイート
30
Google アナリティクス 4 プロパティ
4
Google サービスの統合
10
Google サーベイ
6
Google サーベイ 360
5
Google タグマネージャ
16
Google タグマネージャー
1
Google タグマネージャー360
8
Google デベロッパー
1
Google マーケティング プラットフォーム
5
Google 広告
3
lpo
1
Measurement Protocol
1
Movable Type
1
Optimize 360
1
overture
2
PR
1
RLSA
1
RSS
2
Salesforce
1
Search Console
1
Urchin
1
urchin.js
2
URL生成ツール
3
YouTube
1
アカウント
4
アトリビューション
7
アトリビューション360
4
アドワーズ
1
アナリティクス 360
9
ウェブサイトオプティマイザー
4
オーガニック検索
3
オプティマイズ
10
オプティマイズ 360
12
オプティマイズ360
2
オプティマイゼーション
2
お知らせ
133
カスタムフィルタ
2
キーワードレポート
2
キーワード最適化ツール
1
キャンペーン
1
コンバージョン
9
サイト内検索
2
サブディレクトリ
1
セミナー
21
ソーシャル
2
タイトル別コンテンツ
1
タイムゾーン
1
データ サイエンス
1
データスタジオ
29
データスタジオ 360
19
データドリブン アトリビューション
1
データの見方
21
データ統合
1
デベロッパー
3
テレビ広告
1
トラッキング
5
トラッキングコード
7
トレーニング
1
ビジネス インサイト
6
ヒント
18
フィード
3
フィルタ
4
プロファイル
3
プロモーション改善
4
マーケティング、
2
マーケティング分析
4
モバイル
18
モバイルアプリ
3
ユーザーID
1
ユニークユーザー
3
ユニバーサル アナリティクス
3
よくあるお問合わせ
18
リダイレクト
1
リピーター
2
リマーケティング
1
リンク
2
レポートの操作
11
レポート機能
40
ログイン
3
ログインメールアドレス
2
開発者向け
3
活用事例
40
管理者
4
機械学習
2
検索エンジン
1
広告運用
6
広報
1
最適化
5
上位のコンテンツ
1
新機能
77
新規ユーザー
4
人気記事
1
直帰率
3
年末年始
1
文字化け
1
目標設定
6
目標到達プロセス
5
離脱率
1
連携
3
アーカイブ
2024
6月
3月
2023
10月
6月
5月
2022
11月
9月
3月
2月
1月
2021
12月
7月
4月
2020
12月
10月
9月
8月
7月
6月
2019
8月
4月
3月
2月
2018
12月
11月
10月
7月
6月
5月
3月
2月
1月
2017
12月
11月
10月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
1月
2015
6月
2014
12月
11月
6月
5月
4月
2月
2013
12月
11月
10月
9月
8月
7月
6月
4月
3月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2011
12月
11月
10月
9月
8月
6月
5月
4月
3月
2月
1月
2010
12月
11月
10月
8月
7月
6月
5月
4月
3月
2月
1月
2009
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2008
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2007
12月
11月
10月
9月
8月
7月
フィード
関連リンク
アナリティクス アカデミー
YouTube チャンネル
GA IQ テスト
公式コミュニティ
