マーケター必見！インクリメンタリティテストとは？

マーケターのみなさんは、マーケティング予算を無駄なく効果的に使えているか、ユーザーに対して適切な広告訴求ができているか、正しく計測できているでしょうか？

バイアスのない正しい効果計測ができるのは、特定の計測方法だけです。

それがインクリメンタリティテスト（英語）です。

インクリメンタリティテストでは、”見えない部分”も含めて、広告費のROI（投資利益率）を計測し、成長要因を正確に突きとめることができます。

オーガニックのトラフィックと非オーガニックに発生したコンバージョンの境界線はあいまいです。もともと購買意欲が高かった新規ユーザーに対して、広告に接触させてお金をかけている場合があります。インクリメンタリティテストは、こうした外側からは見えない部分をも明らかにしながら、広告のビジネス効果をはかる最良の方法となります。

インクリメンタリティ計測は、広告キャンペーンの配信を1週間中止して、効果にどれだけ違いがあるかを分析すればいいものではありません。なかなか複雑なテストのため、今回のブログでは、広告効果によるビジネス成果のインクリメンタリティ（純増分）を計算する方法と、インクリメンタリティテストの結果を解析する方法について重点的に説明しながら、インクリメンタリティ計測とラストクリック計測の違いや、インクリメンタリティテスト全体の重要性についてもお話ししたいと思います。

 

インクリメンタリティ効果を確かめる方法

インクリメンタリティテストでは、ランダムに広告を表示させる接触者（test group = テストグループ）と、広告を表示させない非接触者（control group = コントロールグループ）の2つのグループに分類します。

広告を表示させたグループとさせないグループを比較した差分から、純粋な広告の効果計測がはかれるという考えかたです。これがインクリメンタルリフト（増分効果）です。

例）マクロピッツェリア店が新商品である厚切りピザのキャンペーンを打ち出しました。新商品の割引クーポンを1か月かけて配り、その効果がどれほどのものか見極めたいとします。クーポンの使用・未使用でどれだけ新商品が売れたかを見比べるのが、いわゆるインクリメンタリティリフトです。

 

3つのタイプのインクリメンタリティ効果

インクリメンタリティのテスト結果は下図のように分かれます。

①プラス効果：左の例は、増分を生み出し、プラスの効果が出ています。キャンペーンの効果があり、収益が増加したことがわかります。

②効果なし：真ん中の例は、特に効果が見られません。売上はありますが、利益は出ていないため、キャンペーンを中止するか、クリエイティブやターゲティングを変えてみるなどして別のやり方を考える必要があります。

③マイナス効果：右の例は、増分がなく、マイナスの効果が出ています。稀なケースではありますが、キャンペーンを打ち出すほうがかえって逆効果になることがあります（例：過度なリマーケティングによってブランド価値を下げてしまうなど）。このようなマイナス効果が出ている場合は、テストの設定を見直すと良いでしょう。

インクリメンタリティのテスト方法

まずは重要な用語と指標をご覧ください。

以下はインクリメンタリティでよく使われる用語で、テストのプロセスを理解するのに役立ちます。

用語	定義
KPI（指標）	アプリがビジネスの目標をいかに効果的に達成しているかを表す計測値
コントロールグループ（非接触者）	キャンペーンAの広告を表示させるユーザーグループ
テストグループ（接触者）	キャンペーンAの広告を表示させないユーザーグループ
統計的有意性	コントロールとテストグループの結果の差異は偶然ではない可能性
インクリメンタルリフト（増分効果）	コントロールグループの数値からテストグループの数値までに増加率（広告なしではコンバージョンしなかった差異）

次にテストのプロセスの説明に移ります。インクリメンタリティテストは一般的な科学実験に似ています。科学実験では、仮説と実践方法論を提示し、結果を集計・分析して結論を導き出します。インクリメンタリティテストでは、①目標を設定 ②ユーザーをグループ分け ③テストを実施 ④テスト結果を分析 ⑤そして対策をとる、というように5つのステップに分けられます。それぞれのステップについて詳しく見ていきましょう。

①目標を設定

インクリメンタリティテストを開始する前に、仮設を立ててビジネスのKPIを設定することが重要です。テストを通じて何を証明したいのかよく考えてみましょう。

例）インストール数、ROI（投資利益率）、ROAS（広告費回収率）など

②ターゲット層をグループ分け

リマーケティング広告のキャンペーンでインクリメンタリティテストを実施する場合、まずはターゲット層を決め、コントロールグループ（非接触者）として設定してください。

ヒント：AppsFlyerのようなアトリビューション計測プラットフォームは、ニーズに合ったユーザーのグループ分けができるだけでなく、ユーザーグループに沿って適切なキャンペーンを構成できます。

注意：コントロールグループとテストグループは似た性質を持つ必要がありますが被ってはいけません。

UAキャンペーンでインクリメンタリティテストを実施する場合、個別の識別子なしではユーザー層を特定できないため、難易度が上がってしまう可能性があります。個別の識別子とは、IDやコードなど、他と区別ができる固有の識別子のことです。

それ以外にも、所在地、タイムゾーン、プロダクト使用の有無、性別、年齢といった異なる特性を用いることも可能です。

③テストを実施

テスト期間と計測期間を決めてテストを開始します。

これまでの統計によると、テストは1週間以上続けるべきであることが証明されています。

計測期間は、テスト開始前にユーザーがイベントを実行する日数であり、アプリのビジネスモデルと処理するデータの規模によって異なります。

テストの計測期間は、ほかのキャンペーンと重ならないように日程を調整する必要があります。こうすることで、対象のキャンペーンの効果を正確に計測できます。

④データを分析

テスト＆コントロールグループのデータをを集計したのち、比較をし、ビジネスゴールに応じて特定のKPIのインクリメンタリティリフトを洗い出します。

テスト＆コントロールのテスト結果の関係性を理解できれば、なぜプラス、マイナス、または効果なしだったのか、理由を説明できるはずです。

テスト＆コントロールのテスト結果に大きな差があった場合、テストの設定の仕方に問題があった可能性があります。設定を見直したあとに、もう一度同じテストを実施してみると良いでしょう。

インクリメンタリティテストを自分ひとりで準備するのは大変ですがインクリメンタリティテストに必要なツールを導入しているアトリビューションプラットフォームがあります。テストのデータをプラットフォーム内のダッシュボードから取得できるので、手間が省けてより効率的にテストを実施できます。

⑤対策をとる

テスト結果から得たインサイトを活用して、キャンペーンの効果を最大化します。たとえば、各ターゲット層にふさわしいメッセージ、リマーケティングの最適なタイミング、もっとも効果が高いメディアソースなどを見極めて収益の最大化をはかることができます。

インクリメンタリティを計測する2つの方法

テストデータを収集して集計したあとは、インクリメンタリティリフトを算出する必要があります。

計算方法は2通りあります。

1) 増分利益

テスト対象のメディアチャネルによって実際に発生したリフト（増分効果）を計測します。対象のメディアチャネルで発生した収益からコントロールグループで発生した利益を差し引いて計算します。

例）1つのキャンペーンに$2,000を投資し、メディアチャネルAでは$5,000、メディアチャネルBでは$3,000の利益があったとします。一見すると両チャネルともに利益があったように見えますが、オーガニックでも$3,000の収益があったとすると、メディアチャネルBの増分利益は$0となります。

チャネル	投資額	利益	増分利益
メディアチャネルA	$2000	$5000	$2000
メディアチャネルB	$2000	$3000	$0
オーガニック	$0	$3000	N/A

テストグループで得た利益が、コントロールグループで得た利益より低ければ、増分利益はなかったということです。 

つまり、わざわざお金をかけてキャンペーンをおこなわくても同じ利益を得られたということになります。その予算を別のメディアチャネル、マーケティング活動、メディアソース、キャンペーンなど、ほかのところに回すほうが賢明です。

2) インクリメンタルリフト（増分効果）

インクリメンタルリフトの計算式は以下のとおりです。

具体例をあげて計算式を見てみましょう。テストグループがコンバージョンを10,000件、コントロールグループが800件発生させたとします（ (10,000 – 8,000) ÷ 8,000 = 0.25）。

この場合のインクリメンタルリフトは25%で、この数字が良いか悪いかは自分たちのKPIやROASをもとに判断します。

獲得単価（CPA）をインクリメンタルリフトで割った数字がユーザー生涯価値（LTV）と同等または高いか確認します。

CPAが$2だとして、0.25で割ると、$8になります（2÷0.25=8）。LTVが$8より高ければ、キャンペーンは「プラス効果あり」ということです。$8より低ければ、キャンペーン戦略を見直す必要性を示唆しています。

 

インクリメンタリティとA/Bテストの違い

インクリメンタリティテストのベースをカバーしたところで、次にA/Bテストとの違いについて説明しましょう。

簡単に言ってしまえば、インクリメンタリティテストはA/Bテストは同じタイプのテストです。一般的なA/Bテストは、プロダクトやキャンペーンをAとBの2種類に分けてつくり、それぞれターゲットとするユーザー層を1と2のグループに分け、どちらがより効果的かテストします。

例）グループ1には青いボタン付きのバナーを、グループ2には赤いボタン付きのバナーを見せます。どちらのほうがクリック率が高いかを見るのが、マーケティングにおける一般的なA/Bテストです。

A/Bテストとインクリメンタリティが異なる点は、インクリメンタリティではコントロールグループに一切広告を見せません。

上記のA/Bテストの例で言うと、青ボタン・赤ボタンのどちらのキャンペーンのほうがより効果が高いかわかるのに対し、インクリメンタリティはキャンペーンをするべきか、しないべきかを教えてくれます。

ここで3つの方法をご紹介します。

• Intent-to-Treat (ITT)：この方法は、テストグループは広告を表示、コントロールグループは広告を非表示にし、両グループの動作にもとづいて計算します。テスト終了時に実際に得た数字ではありません。ただし、テスト前に広告を見せる・見せない意図は持ちつつも、そのユーザーのすべてが分析に含まれるわけではありません。よって、テスト結果にバイアスが生じる可能性があります。
• Ghost Ads/Bids：この方法は、キャンペーンを開始する直前にランダムにテスト・コントロールグループを分けます。コントロールグループの行動をモニターし、ユーザーが広告に接触したか確認します。この方法は、アドネットワークによって用いられるインクリメンタリティテストです。
• Public Service Announcements (PSAs)：テスト・コントロールグループの両グループに広告を見せます。テストグループには広告主のキャンペーンを表示し、ントロールグループにはPSA（公共広告）を表示して、異なる広告を配信します。両グループのユーザー行動を比較し、インクリメンタルリフトを算出します。

 

インクリメンタリティとROAS（広告費回収率）の違い

インクリメンタリティテストは従来のアトリビューションモデルに取って代わるものではありません。キャンペーンの効果をより正確に計測できるようにアトリビューションと並行して使います。

【注意】アプリのインストール数だけを計測している場合は、ROASを計測するには向いていません。

マーケターはアプリインストール後のさまざまな指標を計測し、最適化する必要があります。ファネルの後半に進むほど効果があがります。LTVにフォーカスしながら、メディアのコストを考慮することで、ROASが伸びているか確かめることができるはずです。

インクリメンタリティを使うことによって広告費を減らしてもオーガニックユーザーの収益を維持しながら、ROASを上げることができるかがわかります。

ROAS増分効果（iROAS）は [(テストグループの収益 – コントロールグループの収益) ÷ 総広告費」で計算します。計算式からオーガニックのコンバージョンを除外することで、キャンペーンの効果を正確に計測することができます。そしてキャンペーンを最適化できます。

たとえば、iROASが100%未満であれば、効果が高いほかのキャンペーンやメディアチャネルに予算を費やすことができます。逆に100%以上であれば、オーガニックのトラフィックとは重なってはおらず、広告が効果的であることが証明されます。

インクリメンタリティを取り入れることは、マーケターにとっては重要な情報をプラスすることになるので、ROASをさらに向上し、効果を最大限に引き出すことができます。ただROI（投資利益率）/ ROAS（広告費用対効果）を計測することと、インクリメンタルリフトから広告費に対するマーケティングキャンペーンの効果を正確に計測することには違いがあります。

 

インクリメンタリティテストのメリット

インクリメンタリティテストを取り入れたマーケターは、キャンペーンがどれほど効果的なものか自信を持って示すことができます。iROASの効果を把握できるだけでなく、テスト結果から得たインサイトをその後のマーケティング戦略に活かすことができます。新しいメディアチャネルを試したい場合には、インクリメンタリティテストを実施して、テスト結果を見てから広告費を増やすかどうするか判断できます。小さなメディアチャネルのキャンペーンでもインクリメンタリティテストを使ってROASの効果をはかることができます。プラス効果が出ていれば、そのチャネルのマーケティング活動の規模をさらに広げることができます。

インクリメンタリティテストは、リエンゲージメントの戦略を立てるときにも役立ちます。アプリインストール後にユーザーとリエンゲージするタイミングを明らかにし、インクリメンタルリフトがいちばん高くなるようにサポートしてくれます。

この知識をもとに、ハイパフォーマーなメディアチャネルを見極め、マーケティング予算の配分を見直すなど、マーケターとして最適な判断ができるようになります。

 

インクリメンタリティテストの課題

どんな実験にも課題がつきものであるように、インクリメンタリティも例外ではありません。

テストとコントロールグループを作成する際に、ユーザーの行動に影響を与える可能性があるノイズはすべて排除することが重要です。データをしっかり精査し、重複しているターゲット層がいないか確認しましょう。そうでないと、正確なテスト結果が得られません。

テストに使用するパラメータの候補を選択するのも大変な作業です。アプリごとにユーザー数が異なるため、すでに配信しているキャンペーンに影響をおよぼさないように、テストするグループサイズを決める必要があります。

あまりグループが小さすぎても有益なテスト結果が得られません。それでも、テストから十分な結果が得られる自信がある場合は、さらにお金を費やしてテスト期間を延ばす必要があります。

すべてのキャンペーンを1週間や1か月のあいだ中断することは毎回できることではありません。短時間で結果を知りたい場合は、広告のパフォーマンスがいちばん低いメディアチャネルを中断してテストを実施するのが最適です。

結論を間違った方向へ導くことがないように、外れ値を除外しておくことも重要です。外れ値がテスト結果に与える影響はデータの量によって異なるため、テストの規模も重要になります。

同時に、テストする時期にも気を付ける必要があります。年末年始、GW（海外の場合はブラックフライデー、サイバーマンデー、イースター）など、ユーザーの行動に影響を与えかねないホリデーシーズンは避けましょう。テストを実施するのにふさわしいタイミングを選ぶことも大切です。

繁忙期と閑散期ではテスト結果に大きな違いが生じますが、インクリメンタリティテストを実施するタイミングは、アプリのビジネスモデルやユーザーの行動パターンにもとづいてマーケターご自身で決められます。

インクリメンタリティテストにはもうひとつ、エンジニア面での課題があります。複雑性をともなうテストであるがゆえに、最適な結果を導き出すには、たくさんの技術力と開発者のサポートが必要です。

例をあげるなら、各アドネットワークのAPIを接続し、ローデータをすべて受け取って集約化したのち、外れ値を取り除き、テスト結果の統計的有意性を算出するなど、このような作業に膨大な工数がかかります。

インクリメンタリティに対応しているアトリビューション計測プラットフォームを利用すれば、こうした時間、手間、費用のすべてを削減できます。データはすべてダッシュボードで提供されているため、インクリメンタリティテストを実施するうえで必要な情報をかんたんにグループ化・集計することが可能です。

 

重要なポイント

インクリメンタリティは正確なインサイトを与えてくれるだけでなく、メディアチャネルの選別、予算配分、ROAS計測、そしてマーケティング活動の効果を最大化するサポートしてくれる強力なツールです。

インクリメンタリティを十分活用できるように以下のポイントを覚えておいてください。

1) 有料広告のことばかりに気を捉われるのではなく、オーガニックトラフィックとの複雑な相互作用を考慮して、全体像を見失わないようにしましょう。

2) クリーンなデータを用意しましょう。誤った結論にひっぱられることがないように、データの中にひそむ外れ値を除外し、対象となるターゲット層に重複がないことを確認してください。

3) キャンペーンを企画する前に、KPIを明確に定義し、対象となるターゲット層をしっかりとグループ分けする必要があります。

4) データを集計・比較して、キャンペーンのインクリメンタルリフトを分析します。

5) インクリメンタルリフトがもっとも高いメディアチャネル、キャンペーンに好反応を示すターゲットグループ、ユーザーにリエンゲージメント活動をしかけるタイミングを把握してから、予算配分やROAS向上の最適化をはかります。

キャンペーンの効果を見極めるには、LTVやROASの最適化が欠かせません。けれど、インクリメンタリティを取り入れなければキャンペーンの真の効果を立証することができません。

プライバシー重視の時代における広告の効果計測について

AppleのATTフレームワークが導入され、ユーザーのプライバシーを保護するために、特定の端末と結びつけて計測をおこなうことができなくなりました。

また、AppleのSKAdNetwork計測では非オーガニックに発生したインストールを計測できている割合は大体68%だけです。効果計測の精度を高め、データをもとにした賢い意思決定をするには、確率論的アトリビューション、WEB-to-APP、そして今回紹介したインクリメンタリティのような、別の計測手段を利用する重要性が高まっています。