Почему A/B-тестирование не всегда работает, а все креативы мы теперь запускаем машинным обучением

Руководитель направления маркетинговых креативов в Joom Камилла Двораковская об экспериментах с Google Ads.

Одна из основных задач отдела маркетинга в Joom — автоматизировать все процессы по созданию и оптимизации рекламных кампаний. В работе мы используем механизмы машинного обучения, и процессы тестирования креативов были выстроены с учетом того, чтобы они все обновлялись с помощью алгоритма.

Конечно, это не финальное решение — мы всегда движемся в сторону более точечного подхода и автоматизации. Но общепринятые варианты тестирования креативов в отдельных рекламных кампаниях нам не подходят.

Как мы тестировали эффективность креативов раньше

В 2018 году мы стали развивать и искать подходы к рекламным креативам и кампаниям для платформы Google Ads. Изначально мы использовали самый простой вариант: фото товаров в сочетании с плашкой с ценой (или скидкой) на белом или цветном фоне. Дальше мы анализировали и тестировали, влияет ли на эффективность рекламной кампании фон (цветной или белый), какой оттенок фона лучше использовать, а также сравнивали, как работают креативы со скидкой и креативы с ценой.

Дальше мы решили проверить чувствительность метрик, чтобы убедиться, что точечный подход к тестированию креативов будет иметь смысл. Например, мы запустили в одной рекламной кампании несколько вариантов картинок:

  • Наш логотип на белом фоне.

  • Просто черный квадрат.
  • Баннер с товарами, который мы обычно используем.
  • Картинку с кактусом.

И когда по некоторым (в том числе и финансовым) метрикам кактус победил всех, мы поняли, что такие тесты нельзя считать правильными и стали искать другой подход.

Важно отметить, что на платформе Google объявление формируется из нескольких типов контента, например:

  • Текст и картинка.
  • Текст и видео.
  • Текст, видео и картинка.

И так далее.

При этом нельзя говорить об эффективности отдельно взятого креатива (или картинка, или текст, или видео), так как они всегда используются в паре. Важно, что статистика по креативам тоже не чистая — если ваше видео показалось с текстом, то показ запишется и к нему, и к ролику.

Чтобы охватить как можно больше площадок для размещения, Google генерирует ролики, используя наши скриншоты в сторах. Так как статистика по таким креативам в рекламной кампании не показывается, мы решили запустить видеокреативы в выборочных странах, чтобы понять их эффективность для нашего продукта. После теста мы увидели, что видео получают более 50% объема трафика, и решили, что стоит начать двигаться в эту сторону.

Так мы стали использовать видеоролики. Оказалось, что это работает лучше всего. У видеороликов в наших рекламных кампаниях с хорошей эффективностью самый большой охват (а также показы, клики и установки). Мы начали искать возможность запускать и оценивать видео с учетом особенностей нашего подхода.

Мы развивались дальше и выделили три основных направления в видео:

  1. User-generated content. У нас внутри приложения есть своя социальная сеть, которую ежемесячно посещает 15,5 млн человек. Мы стали использовать это — просим блогеров записать видеоотзывы на товары, добавляем к ним логотип Joom и финальный экран, и у нас получаются отличные креативы.
  2. Live Shoot. Это видеоролики, снятые профессионалами. Ими мы охватываем новые интересующие нас площадки — YouTube, Double Click и т.д.
  3. Motion Video — анимированные ролики. Они тоже отлично себя показывают в рекламе.

После того, как мы начали активно использовать видеокреативы в рекламных кампаниях, стали думать, как выстроить процессы их тестирования и оценки с учетом особенностей платформы и нашего подхода к запускам в целом. Оказалось, что стандартный вариант тестирования креативов нам не подходит. И мы решили внедрить свой.

Что было (для нас) не так со стандартным тестированием креативов

«Не так» было с двумя вещами.

По нашему опыту, эффективность креативов на тестовых бюджетах и в продакшне может сильно отличаться. Если вы видите хороший CTR/CR на 100 кликах и бюджете в $200 в день, это совсем не значит, что за $4000 вы получите пропорциональный результат.

Во-вторых, правильный A/B-тест креативов должен быть очень точечным. Чтобы ответить на вопрос, за счет чего изменились какие-либо метрики, нужно запустить два креатива, в которых будет отличаться только один элемент. И смотреть, повлияло ли то или иное изменение на метрики.

Как мы крутим креативы теперь

Мы приняли решение запускать новые креативы таким образом, чтобы лучшую комбинацию наша ML-система смогла сразу начать масштабировать.

Сейчас запуск рекламных кампаний настроен таким образом: ML-система делает случайный выбор из набора креативов (все тесты, ролики и картинки), отдавая предпочтение тем, которые еще не использовались в рамках страны (валюты).

У нас получились такие варианты наполнения рекламных кампаний:

  • 1 кампания = 1 набор статики + 1 концепт ролика (адаптированный под разные видеоформаты)
  • 1 кампания = 1 набор статики
  • 1 кампания = 1 концепт ролика (адаптированный под разные видеоформаты)

В системе Google нельзя запустить рекламную кампанию без текстов, поэтому эти креативы применяются в каждом подходе.

Все кампании запускаются на минимальных бюджетах и ставках, установленных нами для каждой страны, и управляются ML. Система оптимизирует бюджеты кампаний в плюс или в минус в зависимости от эффективности или выключает кампанию (если Spend Rate за последние 7 дней меньше X$ или если eROI за последние 14 дней меньше X%).

После того, как наш ML выключает рекламную кампанию, автоматически запускается новая на основе тех же подходов, что были описаны ранее, плюс в зависимости от категории страны создаются новые рекламные кампании с определенной периодичностью (раз в неделю или две). Таким образом новые креативы всегда будут попадать в ротацию.

Вот так наши ролики выглядят сегодня

Итого

Используя этот подход, мы снимаем с себя риски, что набор креативов может крутиться слишком долго и использовать на себя большой процент бюджета. Мы тестируем их в реальном времени и не тратим время на проверки каждого вида креативов. Кстати, надо сказать, что для нас бюджеты на отдельные тесты и на тесты в реальном времени сопоставимы.

И, конечно, мы собираем статистику по каждой рекламной кампании и анализируем какие подходы работают лучше, плюс смотрим на распределение бюджетов по типам креативов (или картинка, или видео, или текст) в разбивке по странам. Мы всегда ищем новые подходы и улучшаем наши алгоритмы в работе с креативами и в работе с рекламными кампаниями в целом.

Думается, что девиз «Тестируем всё» можно применять и интерпретировать по-разному в зависимости от специфики и направленности отдела. А какие подходы в тестировании (чего угодно) используете вы? 🌵

0
10 комментариев
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Wladimir

"ML" который мы заслужили.

Ответить
Развернуть ветку
Вячеслав Хмельницкий

ещее одна борохолка, чем вы лутше Aliexpress?

Ответить
Развернуть ветку
Ксюша Воронина

Лутше 🤔

Ответить
Развернуть ветку
Vad Zed

ну ведь "борохолка" 

Ответить
Развернуть ветку
Ксюша Воронина

О, меня так «лучше» увлекло, что боро холку не заметила 😅

Ответить
Развернуть ветку
Дмитрий Реута

Креативность головного мозга

Ответить
Развернуть ветку
Сергей Дука

Кака дичь )

Ответить
Развернуть ветку
Илья Шебанов

А что не так по кейсу?🤔

Ответить
Развернуть ветку
Anastasiya Astashova

Какое количество роликов/статики готовите в неделю? И какое количество дизайнеров их готовит?

Ответить
Развернуть ветку
7 комментариев
Раскрывать всегда