Зачем тестировать
«Красная кнопка лучше синей» — мнение; тест показывает, что даёт заявки в вашей аудитории. A/B-тестирование проверяет гипотезы на реальном трафике: половина видит одно, половина — другое, победитель определяется по заявкам со статистической значимостью. Тест, остановленный раньше или без объёма, врёт; правильный дизайн теста — половина работы.
Как делаем
Гипотеза и метрика → дизайн теста с объёмом → настройка и проверка разделения → запуск до значимости → анализ по сегментам → внедрение победителя → документирование. 2–6 недель на тест.
Пример
Магазин с спором о дизайне карточки товара. Тест 3 вариантов на 40 000 визитов: победил вариант с наличием и доставкой над ценой — плюс 18% к добавлениям в корзину. Внедрён на весь каталог; спор закрыт данными.