A/B-тест виджета: сколько ждать и как не обмануть себя

Почему разница в 2 заявки ничего не значит, сколько показов нужно для вывода и какие ошибки чаще всего портят тест.

A/B-тест отвечает на простой вопрос: какой из двух вариантов приносит больше заявок. Но ответ появляется не сразу — и самая частая ошибка в том, чтобы остановить тест слишком рано.

Меняйте одно

Если у вариантов разные призы, цвета и тексты одновременно, вы узнаете, какой вариант лучше, но не узнаете почему. Меняйте одну вещь: набор призов, заголовок или момент показа.

Сколько ждать

Ориентир — не меньше 1–2 недель и не меньше нескольких десятков заявок на каждый вариант. Неделя важна потому, что посетители в понедельник и в субботу ведут себя по-разному.

Один человек — один вариант

Посетитель, который сегодня видел вариант А, а завтра — Б, портит статистику. В Lasso вариант закрепляется за посетителем, поэтому каждый всегда видит одно и то же колесо.

Что считать результатом

  • Основное — доля заявок от показов, а не число вращений
  • Дополнительно — сколько заявок стали покупками
  • Победитель — вариант, который лучше по основному показателю на достаточном объёме

Хотите применить это на своём сайте?

Получить демо

Ещё статьи