Last-click і реальний рекламний ефект: що показало дослідження Meta
Ви бачите сто покупок після кліку на рекламу. Скільки з них не відбулося б без кампанії? Last-click сам цього не пояснює. Дослідники запропонували модель PIE, яка вчиться на контрольованих тестах і прогнозує додатковий ефект для інших кампаній. Її зважений R² становив 0,88 проти 0,19 для сирої last-click метрики. Це перспективний результат, але не обіцянка вгадати дохід наступного запуску з точністю 88%. Різниця важлива, якщо вам пропонують такий прогноз як готове рішення.
Публікація:
На чому навчали модель
Бретт Гордон, Роберт Моклер і Флоріан Цеттельмаєр описали PIE у робочій науковій публікації. Вона використовує результати випадково контрольованих експериментів як основу для навчання: порівняння груп дає оцінку додаткових конверсій.
Дані стосуються США, листопада 2019 — березня 2020 року. З 839 вихідних дослідів сформовано 2226 пар «експеримент — подія конверсії». Це не 2226 незалежних кампаній 2026 року. Досліди були великими: від мільйона користувачів тестової групи та п’яти тисяч її конверсій.
PIE прогнозувала додаткові конверсії на долар витрат. Вона використовувала й показники, доступні після кампанії. Тому її не слід уявляти інструментом, який лише за майбутнім бюджетом і назвою товару передбачить результат до запуску.
Чому 0,88 не означає «88 правильних прогнозів зі ста»
R² описує, наскільки добре модель пояснює відмінності вимірюваного результату в тестовій вибірці. Це не частка вгаданих покупців і не гарантія малої помилки для кожної окремої кампанії.
Порівняння з last-click також потребує точності. У роботі перевіряли, зокрема, сиру метрику семиденної атрибуції. Сам last-click може нести корисний сигнал, але кількість приписаних конверсій не є готовою кількістю додаткових. Наприклад, реклама може частіше знаходити людей, які вже вирішили купити.
Для нових рекламодавців якість PIE знижувалася: R² становив 0,72. Це не робить модель некорисною. Це показує, чому результат на знайомих бізнесах не можна автоматично переносити на ваш магазин.
За заданих авторами порогів рішення на основі PIE розходилися з експериментальними у 8–12% випадків проти 12–20% для last-click. Це порівняння конкретних правил прийняття рішень, а не частота всіх можливих помилок рекламодавця.
Що запитати у постачальника прогнозу
Коли сервіс обіцяє оцінити ефект без нового експерименту, важливе питання не лише «який у вас R²?». Потрібно зрозуміти, на яких даних отримали це число та чи перевіряли справді нових клієнтів.
Попросіть пояснити п’ять речей:
- Що саме прогнозуєте? Додаткові покупки, дохід чи іншу чітко визначену величину. Назва «ефективність» без одиниці вимірювання нічого не пояснює.
- Коли доступний прогноз? До запуску або лише після отримання результатів кампанії. Це різні інструменти для різних моментів рішення.
- Чи були подібні бізнеси в навчальних даних? Важливі ринок, тип продажів, масштаб і період. Результат для великого американського магазину не гарантує такого самого результату для української школи.
- Як перевіряли нових рекламодавців? Потрібен окремий результат на клієнтах, яких модель не бачила під час навчання.
- Коли прогнозу недостатньо? У сервісу мають бути зрозумілі межі застосування й умови, за яких він рекомендує контрольований тест.
Уявімо, що за прогнозом кампанія лише трохи перевищує вашу межу окупності. Саме тут невизначеність особливо важлива: невелика помилка змінить рішення. Значно переконливіший прогноз може допомогти визначити пріоритети, але теж не скасовує перевірки нових умов.
Практичне рішення після цього дослідження — не відмовитися від усіх тестів. Варто використовувати прогнози для розподілу уваги, а дорогі або сумнівні рішення перевіряти експериментально. Для вашого бюджету важливо, чи зміниться вибір кампанії за реалістичної помилки прогнозу, а не лише наскільки високо виглядає одна загальна метрика.
