A/B-тест отвечает на простой вопрос: какой из двух вариантов приносит больше заявок. Но ответ появляется не сразу — и самая частая ошибка в том, чтобы остановить тест слишком рано.
Меняйте одно
Если у вариантов разные призы, цвета и тексты одновременно, вы узнаете, какой вариант лучше, но не узнаете почему. Меняйте одну вещь: набор призов, заголовок или момент показа.
Сколько ждать
Ориентир — не меньше 1–2 недель и не меньше нескольких десятков заявок на каждый вариант. Неделя важна потому, что посетители в понедельник и в субботу ведут себя по-разному.
Один человек — один вариант
Посетитель, который сегодня видел вариант А, а завтра — Б, портит статистику. В Lasso вариант закрепляется за посетителем, поэтому каждый всегда видит одно и то же колесо.
Что считать результатом
- Основное — доля заявок от показов, а не число вращений
- Дополнительно — сколько заявок стали покупками
- Победитель — вариант, который лучше по основному показателю на достаточном объёме