今のあなたのスマホには、いくつのアプリがダウンロードされていますか？
日本人のスマホにインストールされているアプリは平均36個、過去30日に使用したアプリの数は8個、インストールしている有料平均アプリは18個だそうです。
（参考：アプリマーケティング研究所｜世界各国のアプリ平均保有数、スマホ普及率、検索エンジン・SNS利用率まとめ-「Our Mobile Planet2013」）
昨年末発表された、アプリ調査会社アップアニーの調査でも、日本のユーザーによるスマホやタブレット端末向けのアプリの売上高が、アメリカを抜いて世界1位（2013年10月時点）となり、日本のスマホアプリの市場がとても成長していることが分かります。
（参考：アプリマーケティング研究所｜世界で一番稼いでいるのはパズドラとLINE！App Annieによる2013年のアプリ市場9つのトレンド-D2CRアプリセミナー）
アプリ市場は盛り上がりを見せています。アプリを世の中に出している企業・個人のデベロッパーの方の中には、アプリのA/Bテストを実施したいと思う方は多いのではないでしょうか。
今回はそんな皆様に、アプリのA/Bテストの7つの検証ポイントを実際の事例とともに紹介いたします。また、もう少しA/Bテストを詳しく知りたいという方に、シリコンバレーのスタートアップ直伝のA/Bテスト正攻法をお教えいたします。
目次
事例付！アプリのA/Bテストの7つのポイント
1．ログイン方法の選択肢とタイミング
メールだけでのログインなのか、メールの他にもFacebook、Twitter、LinkedInなどの各SNSのアカウントでもログインできるのかで、新規の会員登録の数が増えたり減ったり、リテンション率が変わることがあります。
また、どこでユーザーにログインさせるかのタイミングを考えることも重要です。
新規会員登録2倍up！商品購入率ほぼ3倍up！ショッピング系アプリの例
このアプリは、ユーザーがアプリを開くと、一分間のチュートリアルビデオが流れ、その後アプリへの「ログイン」・「会員登録」・「会員登録をスキップしてアプリを使う」というメニューバーが表示されるというものでした（上記左図）。
アプリ側としては、会員登録をするユーザーが増えてほしいので、会員登録をスキップするという選択肢をなくしてその数を増やそうというA/Bテストをしました。
【結果】
スキップの選択肢を与えないと、離脱ユーザーが増えてしまうのではないかという心配はありましたが、結果として、ログインボタンをするユーザーは1.44％から6.98％増え、ダウンロード後の会員登録率は29.64％から66.02％まで増えました。さらにアプリ内でのユーザーの商品購入率は1.01％から2.97％とほぼ3倍に増えました。
2．購入までの流れと支払い方法の選択肢
EC系のアプリのように、アイテムをカートに入れてから購入という流れと、アマゾンの1クリック注文のように、カートに通さずともアイテム別に購入できる流れのどちらがユーザーに適しているかを考えることは、リテンションやエンゲージメントを増やすために重要です。
また、支払い方法の選択肢もたくさんありますが、クレジットカードにするか、ペイパルのような第三者支払いを取り入れるか、A/Bテストを通してユーザーにとって最適なものを見つける必要があります。
3．メニューの項目とその設置場所
メニューにどんな項目を置くか、作ったメニューをどこに設置するかで、ユーザーのアプリへのユーザーのエンゲージメントが増減します。
1ヶ月のリテンションほぼ20%up！ファッション系アプリの例
このアプリはInstagramのファッション特化型のようなアプリで、ユーザーが自分の好みのファッションスタイルをシェアできたり、おしゃれなユーザーをフォローし、自分のフィードで見ることができるようなものでした。
アプリ側は、ディスプレイ広告で収入を得ており、ユーザーのエンゲージメントやリテンションの増加をさせたいと考えていました。
A/Bテスト前は、ユーザーが左上のメニューのアイコン（ハンバーガーメニュー）をタッチすると、スマホのスクリーンをほぼ隠してしまうようなくらいにメニューが飛びだすという形でした。この形のメニューはユーザーを困惑させていると気付いたアプリのプロダクトチームは、メニューの中でユーザーによく使われている4つの項目を選び出し、それらをタブメニューとして、スクリーン下部に設置するというA/Bテストをしました。
【結果】
ダウンロード後30日、60日、90日でのユーザーのリテンション率はそれぞれ18.3%、10.3%と9.1%の増加となり、ユーザーのロイヤリティが上がりました。
4．レイアウト
レイアウトやアイテムの見せ方・強調の仕方によって、エンゲージメント率やリテンション率。が変わることがあります。
ユーザー一人当たりのアプリの使用時間8.4%up！スポーツ系ニュースアプリの例
このスポーツニュースに特化したアプリは、ニュースごとに左に写真、右にタイトルというレイアウトの形をとっていました（左図）。
アプリ側は、記事ごとに写真を横幅いっぱいにとり、タイトルも同様にするスタイル（右図）にした方が、ニュース記事をクリックする人が増えるのではないかと仮説を立てA/Bテストを行いました。
【結果】
新しいレイアウトでは、一人のユーザーが一ヶ月に平均して読む記事数は13.2%減りました。しかしながら、ユーザーのアプリの使用時間は8.4%増え、アプリのダウンロード30日以内に開かれる率も10.8%上がり、ユーザーのアプリの総合的なエンゲージメントが増加する結果になりました。
新しいレイアウトの方が、ユーザーにとって記事のタイトルが見やすく、個別記事をクリックする前にゆっくりスクロールして本当に読みたい記事を探すという行動を取りました。
つまり新しいレイアウトはユーザーが読みたい記事を見つけるのにより適したものだったというわけです。
5．レコメンデーション機能のアルゴリズム
アマゾンのような商品のレコメンデーション機能のようなシステムを利用しているアプリはたくさんありますが、どんなの商品・アイテムをおすすめするかのアルゴリズムによっても、ユーザーのエンゲージメント率・リテンション率が変わります。
6. コピー・テキスト・アイコン
コピー、テキスト、シェアのボタン等のアイコン、アプリ内で表示される操作方法の説明するディレクションの変更もユーザーのエンゲージメントやリテンションに大きな違いを生むことがあります。
シェア数・クリック数ほぼ2倍up！防犯アプリSafe Trekの例
Safe Trekは、ユーザーが緊急事態に直面した際に、アプリ内のボタンをタッチするとアラームがなり、10秒以上それを鳴らし続けると警察を呼んでくれるという防犯アプリです。
Safe Trekはアプリストアでのレビュー数とユーザーにシェアされる回数を増やしたいと考えていました。このアプリでは、ユーザーがレビューやシェアする際、ボタン（上記左図）を押して、アプリのシェアとレビューができるページ（上記右図）がポップアップで出てきて、そこでシェアかレビューをするというフローを辿ります。そこでアプリ側としては、ボタンのアイコンを変えることでポップアップのページが開かれる率やシェア率やそしてレビュー率が上がるのではないかという仮説を立て、ボタンを下記のように2通りに変更しました。
【結果】
両パターンともにオリジナルのものより良い結果になりました。とくによかったパターンBは、アイコンのクリック数はアンドロイドでは128%増え、iOSでは97%増えました。そして直後のポップアップページでのレビューボタンのクリック数は106%増え、シェアボタンのクリック数は86%増えて、両指標ともにほぼ2倍増の結果になりました。
7．プロモーション
セール中、プロモーション中のアイテムをどうアピールするかを工夫することもユーザーのエンゲージメント率やリテンション率の増減にかかわってきます。
予約率ほぼ30%up！レストラン検索アプリの例
このアプリは、ぐるナビや食べログのようにレストランの検索ができ、予約までできるようなものでした（左図）。
アプリ側は、割引を実施中のレストランを検索画面で目立たせるようにすることで（右図）、ユーザーのクリック率の向上、それに伴う予約率やリテンション率の向上を狙い、A/Bテストを実施しました。
【結果】
目立たせたレストランへのクリック数は増えましたが、アプリ全体の予約数は下がり、ユーザーのエンゲージメント率・リテンション率は下がってしまいました。
この状況をアプリ側は、ユーザーがアプリ側に店選びを誘導されていると感じてしまい、嫌悪感を抱いてアプリの使用をやめているのではないかと考察しました。
それを改善するために、検索画面で表示されていた割引情報をやめてレストラン別のページで表示するという形でA/Bテストを行いました(下記写真を参照)。
【結果】
以前下がってしまったエンゲージメント率が下がることなく、ページで割引情報を出したレストランの予約率が28.1％上昇しました。
シリコンバレーのスタートアップ直伝！アプリのA/Bテストの正攻法
ここからはシリコンバレーのスタートアップ直伝のアプリのA/Bテストの正攻法です。
これをおさえれば、有意義なA/Bテストが実施できるはずですので、ぜひご参考ください。
1．目的を決める
A/Bテストはまず検証目的を明確にすることから始まります。
ほとんどのA/Bテストの目的は以下の4つに分類できます。
・ユーザーのエンゲージメント（アプリ内でのアクティブな行動）の増加
・ユーザーのリテンション（継続率）の増加
・トランザクション（売買取引）の増加
・広告の露出の増加
2．KPIを決める
A/Bテストの目的を決めたあとは、KPI(Key Performance Indicator)を決めます。
KPIとは目標の達成度合いを計る定量的な指標のことです。KPIを決定することで、A/Bテスト実施前と実施後の結果の良し悪しを図ることができます。
例えば、アプリ内のトランザクションの増加を目的とした場合は、閲覧数、商品がカートに入れられた回数、購買数、アイテムあたり金額、または各ステップにおけるコンバージョン率などをKPIとすることができます。
3．仮説を考える
A/Bテストの目的、KPIを設定したあとは、現状のアプリを分析して目的を達成するための仮説と施策を考えます。
例えば、会員登録数をあげるということを目的（エンゲージメント増加の第一歩）としたとします。この目的を達成するためにはどうしたらいいか現状のアプリを分析して仮説を立てます。
現状のアプリでは会員登録のボタンが小さいために、ユーザーが気付いていない可能性があるという分析をし、会員登録のボタンをもっと大きいものに変えること目的達成につながるのではないかと考えたとします。
もしくは、メールアドレスでしかユーザー登録ができないという状況があり、それが会員登録のハードルを上げているという分析から、Facebookのアカウントでのログインを可能にすると会員登録数が上がるのではないかと考えたとします。これが仮説です。
4. 仮説をA/Bテストで検証する
仮説を基に、A/Bテストをデザインし、適切な期間テストを行います。
5. 結果分析をして、次のA/Bテストやアクションを考える
目的が達成されたかどうか、KPIを基準にテストの結果を分析します。
目的が達成されなかったのであれば、A/Bテストを行ったポイントが、ユーザーの心理・行動にあまり大きな影響を与えていないということかもしれません。
先程の例に沿って説明すると、例えば、Facebookのログインを可能にしても、ユーザー登録数が上がらなかったとします。その際の理由としては、ユーザーが会員登録のメリットがないと思っている、メリットが伝えきれていない、もしくはアプリのダウンロード数が少ない、等が考えられます。その場合、アプリのUIを変更したり、アプリが既存会員にシェアされる仕組みを考えたり、もしくはアプリの露出を増やす方法を考えなければなければいけません。
A/Bテストは実施して終わりではないので、結果が出るごとに分析して次のテストやアクションを考えるようにしてください。
まとめ
いかがでしたでしょうか。この記事を読んでいただいている皆さんの中には、既に多くのユーザーに支持されているアプリを作っている方もいらっしゃると思います。またそうでない方もいらっしゃるかと思います。
どちらの場合にせよ、今回の記事を参考に、A/Bテストを繰り返して、ユーザーが本当に満足するような、完成度の高いアプリを作成していただければと思います。
Apptimizeについて
Nancy Hua (Apptimize/CEO兼共同創業者)
Nancyは数学とコンピュータサイエンス専攻でMIT卒。ワールドクラスのアルゴリズム交易の専門家として、ニューヨークとシカゴにおける株式会社KCGホールディングス(元GETCO)の FI クオントストラテジーチームを牽引. 後、モバイルA/Bテストの将来性に魅かせられ、シリコンバレーでApptimizeを起業。
【本件に関するお問い合わせは下記まで】
Apptimizeビジネス開発部 (Business Development Division)
nikky@apptimize.com (Japanese)
Lynn@apptimize.com (English)
URL：http://apptimize.com/
コメント