HADI-циклы в маркетинге: как масштабироваться, не сливая бюджеты на неработающие РК

HADI включает четыре этапа:

• Hypothesis (Гипотезы). Генерируем и приоритизируем гипотезы.
• Action (Проверка гипотез). Тестируем гипотезу.
• Data (Данные). Собираем данные.
• Insights (Выводы). Оцениваем, подтвердилась ли гипотеза. И принимаем решение: использовать ее в рекламной кампании или отказаться.

После этого цикл повторяется со следующей гипотезой.

Шаги кажутся простыми, но при применении подхода в маркетинге есть важные нюансы — рассмотрим их ниже.

Этап 1. Hypothesis (Гипотезы)

Гипотеза должна быть четкой и проверяемой, поэтому для начала нужно правильно сформулировать проблему и определить конверсионную цель: на какой результат будет влиять гипотеза.
Например, онлайн-магазин хочет увеличить количество заказов и средний чек. Чтобы добиться результатов, бренд формирует гипотезы: 

• Количество заказов, добавленных в корзину, повысится, если увеличить на сайте размер кнопки «добавить в корзину»;
• Средний чек вырастет, если скорректировать цены на сайте и в рекламной кампании.

Дальше нужно определить порядок тестирования гипотез, чтобы сформировать поток тестов без длительных промежутков между ними. Для этого мы используем специально разработанный для этих целей календарь тестирования от платформы VWO. Он помогает зафиксировать цели и приоритизировать действия.

* В рамках системы определения приоритетов CIE есть три параметра, по которым нужно оценить тесты по шкале от 1 до 5 и отсортировать их по полученной оценке: чем выше балл, тем выше приоритет.

• Уверенность: то, насколько вы уверены в достижении ожидаемого улучшения с помощью гипотезы.
• Важность: насколько важен тест, для которого создается гипотеза.
• Простота: как сложно будет реализовать изменения, определенные для теста.

При небольшом количестве тестов можно обойтись и без приоритизации. Но, если одновременно проверяется много гипотез, система CIE значительно упростит работу.

Определение таймингов индивидуально и зависит от компании и гипотез. Важно заложить на тестирование идеи столько времени, чтобы набрать нужное количество данных и при этом не потратить на тест слишком много ресурсов (про то, как определить объем выборки, расскажем в разделе «Этап 3. Data»). В среднем среди наших e-commerce- и edtech-клиентов один HADI-цикл длится 1–2 недели. 

Этап 2. Action (Проверка гипотезы)

В одном цикле HADI можно тестировать сразу несколько гипотез, но важно следить, чтобы они имели разные показатели эффективности. 

Онлайн-магазин из примера выше проверяет одновременно две гипотезы, направленные на увеличение разных показателей: повышает количество заказов, добавленных в корзину и средний чек. В первой увеличивает кнопку «добавить в корзину». Во второй корректирует цены на сайте и в рекламной кампании. В итоге первая гипотеза подтверждается: пользователи стали добавлять товары в корзину в два раза чаще. А вторая — нет: после того как цена была скорректирована, количество заказов снизилось, а стоимость привлечения заказов увеличилась вдвое. 

Теперь представим ситуацию, в которой магазин проверяет одновременно две гипотезы с одной целью. Например, количество заказов, добавленных в корзину, возрастет, если 

• увеличить на сайте размер кнопки «добавить в корзину»;
• поменять надпись на кнопке с «купить» на «добавить в корзину».

В таком случае, если магазин получит желаемый результат — повысит число конверсий в корзину, — ему будет сложно определить, какая именно из гипотез сработала. 

Иногда при тестировании идей сложно собрать достаточный объем данных, чтобы сделать по ним выводы. Например, если цель теста — повысить количество покупок нового товара, за короткий срок может набраться мало таких конверсий. В этом случае можно поменять KPI, подняться на уровень выше в воронке продаж и оценивать добавление товаров в корзину. Это позволит за короткий срок собрать больше данных об аудитории.
При необходимости также можно добавлять новые рекламные площадки или убирать те, которые показывают низкие результаты, менять транслируемые УТП, корректировать KPI.

Этап 3. Data (Данные)

На этом этапе собираются данные и анализируются изменения. Например, онлайн-магазин, который проверял гипотезу про повышение количества  переходов с рекламной кампании на сайт, через неделю видит, что переходы выросли в 1,2 раза.

Чтобы понять, насколько репрезентативны результаты, мы рекомендуем использовать калькулятор от HubSpot (A/B Test Kit Significance Calculator). Он помогает определить, какой объем данных нужно получить, чтобы тест считался статистически значимым. Из аналогов, работающих в РФ, рекомендуем Калькуляторы достоверности А/B-тестирования от Mindbox и от «Яндекс.Директ». У Mindbox он подходит для тестирования метрик Open rate, Click rate, конверсии в заказы и других показателей. У« Яндекс.Директ» — считает эффективность кампании в «Директе».

Этап 4. Insights (Выводы)

Оценка результатов происходит в два этапа: 

1. После накопления первичных данных.
Рекомендуем анализировать информацию ежедневно. Это нужно, чтобы при необходимости переформулировать гипотезу — изменить УТП, KPIs и тд — или вовсе остановить рекламу: например, если внедренное изменение отрицательно влияет на результаты РК

2. После завершения одного цикла тестирования. Мы собираем все данные в календаре тестирования и оцениваем эффективность гипотезы. Если она сработала успешно — изменение оставляем или масштабируем. Не оправдалась — берем в работу следующую. 

Например, в примере с онлайн-магазином через две недели гипотеза про увеличение кнопки «добавить в корзину» повысила конверсии в два раза, поэтому магазин оставил изменение. 

Также важно оценивать результаты при корректировке стратегии, когда во время тестирования гипотезы меняются KPI, рекламные площадки, УТП.

Например, магазин проверяет идею: если в видеокреативах добавить фрагмент с таймером окончания акции, то конверсия в покупку возрастет. Спустя пять дней рекламодатель видит, что число покупок выросло только на 3%. Тогда он меняет KPI и анализирует не покупки, а переходы с кампании на сайт. Результат теста поможет выяснить, была ли гипотеза рабочей или конверсиям препятствует какая-то другая причина на этапе взаимодействия с корзиной. По итогам анализа магазин видит, что показатель переходов с добавлением таймера в рекламной кампании вырос на 57%. Значит, таймер действительно влияет на интерес пользователя. Теперь можно подниматься выше по воронке продаж и строить новые гипотезы: как повысить процент добавления в корзину и покупки при наличии таймера в РК. 

После получения итоговых результатов можно начинать новый цикл, формируя гипотезы под новые цели. 

Использование HADI-циклов помогает увеличить число проверяемых гипотез — в ряде случаев это позволяет повысить общий объем креативов, демонстрируемых целевой аудитории. А разнообразие рекламных сообщений, в свою очередь, приводит к повышению конверсии и достижению значимых бизнес-результатов.

Рекомендации

• Проводите даже небольшие тесты, если они способны повлиять на результат: например, изменение размера кнопки «купить» на посадочной странице.
  
  
• Если при генерации гипотез закончились идеи, рекомендуем обратиться к конечному пользователю: например, интегрировать виджет с опросом на сайт или провести интервью с клиентами. Также хороший инструмент — командные брейнштормы.
  
  
• Не сдавайтесь слишком рано. Если первые несколько гипотез не принесли результата, не следует опускать руки. Обычно мы проводим 3–4 попытки реабилитации рекламной кампании. Если после этого показатели не улучшаются, значит, нужно отказаться от гипотезы.
  
  
• При отказе от идеи советуем проанализировать, почему не получилось добиться поставленных KPI: проблема в аудиториях, которые тестируются, в креативе, в посадочной странице, в продукте и т. д.
  
  
• Советуем до запуска теста, во время тестирования (условно посередине) и после полученных результатов проверять, насколько гипотезы соответствуют целям, указанным на старте.
  
  
• Если при тестировании рекламных объявлений вы видите единую проблему: «высокий CTR, но низкий CR», рекомендуем создать второй вариант посадочной страницы — например, вместо стандартной страницы сделать квиз. И проверить эффективность нескольких вариантов с помощью A/B-тестирования с использованием HADI-циклов.
  
  
• При анализе данных на финальном этапе сравнивайте показатели «до» и «после» по всей воронке. То есть не только конверсию элемента, по которому проводили тестирование, но и продажи, маржу в целом.