A/B-тест позволяет узнать, какое изменение на сайте действительно увеличивает заявки, а какое только кажется удачным. Объясняем, как ставить гипотезы, считать выборку и не делать выводов на случайных колебаниях.
Зачем тестировать, если можно просто сделать лучше
У каждого, кто работает с сайтом, есть идеи, как его улучшить: перекрасить кнопку, переписать заголовок, убрать поле из формы, поменять порядок блоков на главной. Проблема в том, что интуиция в таких вопросах ошибается чаще, чем кажется. Изменение, которое нравится всей команде, может снизить конверсию, а незаметная правка — дать прирост на десятки процентов.
A/B-тестирование решает эту проблему. Трафик делится на две группы: одна видит текущую версию страницы (контроль, вариант A), другая — изменённую (вариант B). Через некоторое время сравнивается, какая версия лучше выполняет цель: больше заявок, выше средний чек, меньше отказов. Решение принимается не на основе вкуса, а на основе поведения реальных посетителей.
Особенно ценен этот подход, когда изменение затрагивает деньги: страницы оформления заказа, формы заявки, карточки товаров с высоким трафиком. Ошибка здесь стоит дорого, а проверка — сравнительно дёшево.
Когда A/B-тест имеет смысл, а когда нет
Главное ограничение — трафик. Чтобы отличить реальный эффект от случайности, нужно достаточно наблюдений. Если на страницу приходит 300 человек в месяц и из них 6 оставляют заявку, тест на такую страницу займёт полгода и всё равно может не дать ясного ответа.
| Исходная конверсия | Ожидаемый прирост | Примерно нужно посетителей на каждый вариант |
|---|---|---|
| 2% | +50% (до 3%) | около 3 800 |
| 2% | +20% (до 2,4%) | около 21 000 |
| 5% | +20% (до 6%) | около 8 000 |
| 10% | +20% (до 12%) | около 3 800 |
| 10% | +10% (до 11%) | около 14 700 |
Цифры ориентировочные, рассчитаны для стандартных параметров (95% уверенности, мощность 80%). Вывод из таблицы простой: чем ниже исходная конверсия и чем меньше ожидаемый эффект, тем больше нужно трафика. Мелкие правки вроде цвета кнопки на небольшом сайте проверить практически невозможно — эффект слишком мал.
Если трафика мало, лучше тестировать крупные изменения — новую структуру страницы, другой оффер, альтернативный формат формы — или использовать другие методы: интервью с клиентами, анализ записей сессий, юзабилити-тесты на пяти-семи участниках.
Как сформулировать хорошую гипотезу
Тест без гипотезы — это лотерея. Хорошая гипотеза отвечает на три вопроса: что меняем, почему ожидаем эффект и как его измерим. Удобная формула:
«Если мы [изменение], то [метрика] вырастет, потому что [причина, основанная на данных]».
Пример: «Если мы добавим в карточку товара срок поставки со склада, то доля добавлений в корзину вырастет, потому что в записях сессий видно, что посетители ищут эту информацию и уходят в раздел доставки, откуда часто не возвращаются».
Откуда брать гипотезы:
- Аналитика. Страницы с высоким трафиком и высокой долей отказов, шаги оформления, на которых теряется много людей.
- Записи сессий и тепловые карты. Где люди кликают по некликабельным элементам, где прокручивают и возвращаются, что пропускают.
- Вопросы клиентов. Что спрашивают у менеджеров по телефону — значит, этого не хватает на сайте.
- Отзывы отдела продаж. Какие возражения звучат чаще всего.
Приоритеты помогает расставить простая оценка: ожидаемый эффект, уверенность в гипотезе и трудоёмкость реализации — каждое по шкале от 1 до 10. Сначала тестируется то, что даёт большой эффект при малых затратах.
Как провести тест без типичных ошибок
Одно изменение — один вывод
Если в варианте B вы поменяли заголовок, картинку, форму и цвет кнопки одновременно, то при успехе не узнаете, что именно сработало. Иногда это допустимо — например, когда сравниваются две концепции страницы целиком, — но тогда важно понимать, что вы тестируете концепцию, а не элемент.
Заранее определите длительность
Самая распространённая ошибка — «подглядывать» и останавливать тест, как только один из вариантов вырвался вперёд. На маленьких выборках лидер меняется постоянно, и ранняя остановка почти гарантирует ложный вывод. Рассчитайте нужный объём выборки до запуска и дождитесь его.
Захватите полные недели
Поведение посетителей в понедельник и в субботу отличается, особенно в B2B. Тест должен длиться целое число недель — минимум две, лучше три-четыре.
Не меняйте условия во время теста
Запуск рекламной кампании, распродажа, изменение цен посреди теста искажают результат. Если такое произошло, данные за этот период стоит анализировать отдельно или перезапустить тест.
Смотрите на главную метрику
Рост кликов по кнопке не всегда означает рост заявок. Вариант, который увеличил добавления в корзину, но снизил оформленные заказы, — это проигрыш. Главная метрика выбирается заранее и должна быть максимально близка к деньгам.
Совет студии: ведите журнал тестов — гипотеза, даты, объём выборки, результат, вывод. Через год у вас будет база знаний о вашей аудитории, которая ценнее любого отдельного теста, а новые сотрудники не будут повторять эксперименты, которые уже провалились.
Что показывает практика
Из тестов, которые мы проводили с клиентами, выделяются несколько закономерностей — не как правило, а как ориентир:
- Сокращение формы заявки с семи полей до трёх у поставщика упаковочных материалов дало рост отправок примерно на 35%, при этом качество заявок не упало: недостающие данные менеджеры уточняли по телефону.
- Замена абстрактного заголовка на главной («Надёжные решения для вашего бизнеса») на конкретный («Изготовим металлоконструкции по вашим чертежам за 14 дней») увеличила переходы в каталог на четверть.
- Перенос блока с отзывами и кейсами выше формы на странице услуги не дал статистически значимого эффекта — что тоже результат: не нужно тратить силы на подобные перестановки.
- Добавление наличия и сроков отгрузки в карточку товара дало один из самых стабильных приростов в интернет-магазинах, с которыми мы работали.
Примерно половина тестов не показывает разницы или показывает ухудшение. Это нормально: отрицательный результат уберегает вас от внедрения изменения, которое навредило бы продажам.
Как читать результаты и не обмануть себя
Тест завершён, вариант B показал конверсию 3,1% против 2,7%. Можно ли внедрять? Сначала стоит ответить на несколько вопросов.
- Значим ли результат? Калькулятор значимости покажет, насколько вероятно, что разница случайна. Если уверенность ниже 95%, честнее признать, что тест не выявил победителя.
- Одинаково ли вёл себя трафик? Сравните группы по источникам и устройствам. Если в вариант B случайно попало больше посетителей из рекламы по брендовым запросам, результат искажён.
- Нет ли эффекта новизны? Постоянные посетители иногда кликают на новый элемент просто потому, что он новый. Через две-три недели интерес пропадает. Для сайтов с большой долей повторных визитов полезно смотреть результаты отдельно по новым и вернувшимся пользователям.
- Как вели себя сегменты? Бывает, что вариант выигрывает на компьютерах и проигрывает на телефонах. Тогда стоит внедрить его только для одной группы или доработать.
Перед серией экспериментов полезно провести A/A-тест: разделить трафик на две группы с одинаковой страницей. Если система показывает значимую разницу между идентичными вариантами, значит, что-то не так с распределением трафика или подсчётом целей.
Инструменты и техническая сторона
Для проведения теста нужен механизм, который случайно и стабильно распределяет посетителей по вариантам (один и тот же человек при повторном визите должен видеть тот же вариант), и аналитика, которая корректно считает цели. Для простых тестов текстов и блоков подходят внешние сервисы экспериментов, для изменений в логике — корзине, фильтрах, личном кабинете — надёжнее реализация на стороне сайта.
Если сайт собран так, что любое изменение требует долгой работы программиста, тестирование быстро становится слишком дорогим. Поэтому при разработке мы закладываем гибкую блочную структуру страниц: вариант B можно собрать в системе управления без переписывания кода. Регулярные эксперименты удобно вести в рамках поддержки сайта — это превращает разовые правки в системную работу над конверсией.
Порядок действий: от идеи до решения
- Соберите данные: аналитику, записи сессий, вопросы клиентов.
- Сформулируйте гипотезу по формуле «если — то — потому что».
- Оцените, хватает ли трафика, и рассчитайте нужный объём выборки.
- Выберите одну главную метрику, близкую к деньгам.
- Запустите тест минимум на две полные недели и не останавливайте его досрочно.
- Проверьте статистическую значимость результата, прежде чем делать вывод.
- Внедрите победивший вариант или зафиксируйте, что гипотеза не подтвердилась.
- Запишите результат в журнал и переходите к следующей гипотезе.
