блог horum

А/Б тесты в приложении зачем и как

2021-11-25 19:00
Если не развивать продукт, то как говорится, можно остаться за бортом. А, если серьезно, то мы обязаны соответствовать новым трендам и фишкам, чтобы расти, ну или, как минимум, пробовать то, что «зайдет» пользователю.

Ищите новое: добавляйте предложения, изменяйте площадки трафика, редактируйте дизайн и многое другое.

Главное – делать вовремя и предугадывать, что релевантно для вашей компании, направления и аудитории.

Чтобы эффективно изменять интерфейс приложения, нужно иметь хорошую аналитику. Для этого есть точный инструмент – A/B тестирование. Это маркетинговый инструмент для анализа гипотез по внедрению новшеств. По-другому – сплит-тестирование.

Гипотезы
Проверяем различные варианты:

  1. Дизайн проекта целиком;
  2. Оформления отдельных страниц;
  3. Текстовое оформление;
  4. Функционал приложения;
  5. Элементы: кнопки, меню, переходы.

Приведем пример на последнем. У дизайнера внезапно возникла идея об изменении иконки, изображения. По его мнению, это повлияет на продажи и увеличит конверсию, однако, кроме мнения он никак не может доказать этот факт. Нет, дизайнер не плохой, но данное новшество следует протестировать, для этого делят пользователей на 2 группы A и B. Группа A – контрольная, ее отправляем на страницу без изменений – около 90%. Остальной трафик – группа B, экспериментальная, отправляется на страницу с изменениями.

Пользователи лучше знают, что им нужно, дают данные для анализа встроенной фичи. Если цель конверсия, и она, явно возросла, то внедряем, увеличиваем продажи и растем. Иначе – устраняем данную идею и думаем, что еще повлияет на прирост.

Изменение картинки иконки- минимальное внедрение, которое, как может показаться, внедряют в совокупности с остальными идеями, что неверно. Каждое нововведение тестируем постепенно, то есть отдельно. Еще одно «но» заключается в том, что анализировать лучше аналитику, который верно расшифрует изменения в данных и сделает соответствующий вывод.

Кому использовать и как?
  • Продакт –менеджеру.
  • Маркетологу.
  • Дизайнеру.
Как бизнесу, использовать A/B инструмент нужно всем. Если у вас есть проект, который нужно улучшать, то этот инструмент для Вас.

И, как уже говорилось, улучшение напрямую зависит от тех, для кого создан проект. Одно – это то, что нравится вам, другое – остальным, чтобы не растерять преимущество на рынке или его приобрести.

Еще несколько нюансов:

  1. Объективное мнение – 70% успеха внедренной фичи.
  2. Тестирование проводится только, когда есть сформированная аудитория, в противном случае, это приведет к лишним затратам и неточной оценке.
  3. Время – ресурс, который вам понадобится, потому сбор информации процесс, требующий его затрат – до 1 месяца, нужно быть к этому готовым.

Как проводится тестирование?
  1. Определить «слабые стороны», поставить цель.
Нельзя просто внедрить то, что, кажется «крутым». Цель любого изменения должна соприкасаться с целью компании: увеличение заказов, клики, скачивания. В противном случае, прогадаете и ухудшите то, что есть. Основываясь на том, что вы хотите получить, накидывайте идеи и работайте с ними.
2. Выбрать метрику.

Метрика – показатель эффективности характеристик продукта, для последующих действий.
В зависимости от того, какая цель, нужно определиться с показателем. Это нужно для того, чтобы понимать происходящее: нравится ли продукт пользователям, много ли конверсий, прибылен ли.

Примеры ключевых метрик для отслеживания:

Время нахождения и отказы – определение целевой аудитории;

Заявки – эффективность каналов трафика;

Средний чек – прибыль от заявки.

3. Определиться с гипотезами.
Определяем «таблетку», которая должна помочь:

o Привлечет ли новая иконка пользователей?

o Повысит ли зеленый цвет конверсию продаж?

o Сделает ли больше переходов название на кнопки?

4. Оцениваем риски.
Тестирование – вещь недешевая, особенно в случае с приложением. Другой исход – влияние фичи на остальные показатели проекта.

5. Составить план тестов.
В случае, если есть несколько вариантов для достижения цели, то составьте план тестирования. Отслеживание несколько метрик сразу приводит к искажению данных.

6. Настроить трафик.
Это выделено, как пункт, потому что на 2 ваших варианта должна идти одинаковая аудитория, что тоже важно для точности аналитики в дальнейшем.

7. Контролировать.
Теперь можно запустить тестирование. Не то чтобы стоит нажать кнопку и забыть, Вам все-таки придется отслеживать процесс, вдруг что-то пойдет не так с технической стороны. Еще, обычно тест проходит до 2х месяцев.

Показатели первой недели любят обманывать взгляд, поэтому четко следуйте установленному сроку.

8. Проанализировать.
Завершением тестирования мы ожидаем вау-эффект. Когда он достигнут, тестируемое направление B, можно смело внедрять в основной, A- проект, получая удовольствие достижений. Однако есть и обратная сторона медали, которая ничем не хуже, так как помогла избежать ухудшения положения.

При помощи чего проводить A/B- тестирование мобильного приложения и какие сложности?
Пример площадок на которых проводят тесты приложений:

Airlock - бесплатный инструмент для тестирования от facebook. Достаточно сложный в пользовании.

Mixpanel – отличный помощник в аналитике, дорогой в пользовании от 250 $.

AppBooster – инструмент стоит внимания, из плюсов - позволяет тестировать отдельные части приложения.

FireBase – особое внимание уделяет «узким местам» при тестировании. Удобен и точен в пользовании.

Amazon – еще один бесплатный помощник. Рассчитан на многопользовательские приложения. Прост и удобен в пользовании.

Сложнее ли тестировать мобильное приложение – определенно, вот основные:

  1. Проверка в магазине;
  3. Большие затраты: закупка трафика, дизайн, контроль.
  5. Если нет новейшей версии приложения у пользователя, не сможет затестить.
  7. Неактуальность. На время тестирования отводится время, а значит за это время есть вероятность потерять надобность.


Немного советов.
  1. Нельзя торопиться с выводами.
Не прекращать тестирование на середине пути, тем более в начале.

2. Оба варианта тестируется одновременно.
Суть A/B-тестирования – тестировать одновременно и замерять показатели.

3. Не обольщайтесь.
С внедрением фичи шутить нельзя, лучше обратиться к специалистам. Опасения не только ошибок с технической стороны, но и ошибок в верном оценивании результата.

Важно - это не одноразовый инструмент. Его нужно использовать до тех пор, пока не будет результата. А это значит, перебирать не одну гипотезу