Калькулятор A/B-теста
Проверьте значимость результатов эксперимента: посчитайте p-value, доверительную вероятность, uplift и нужный размер выборки. Поймите, можно ли уже принимать решение — или тест ещё не набрал данных.
Вариант A контроль
Вариант B тест
Введите данные эксперимента
Укажите число посетителей и конверсий в каждом варианте — инструмент посчитает значимость и покажет вердикт.
Как провести A/B-тест правильно
Пять шагов от гипотезы до решения
Сформулируйте гипотезу
Что именно меняете и что ожидаете: «Замена заголовка на кнопке увеличит конверсию в заявку на 15%». Одна переменная — одна гипотеза.
Посчитайте выборку
До запуска теста рассчитайте, сколько посетителей нужно на каждый вариант. Это защитит от преждевременных выводов и «случайных» результатов.
Запустите и не мешайте
Разделите трафик 50/50, фиксируйте период, не меняйте условия на ходу. Тест должен идти минимум 7 дней — чтобы сгладить дневные и недельные колебания.
Проверьте значимость
Когда данных достаточно, посчитайте p-value. Если p < 0,05 — результат значим при 95%. Если больше — рано делать выводы.
Примите решение
Если B выигрывает — внедряйте и проверяйте, сохраняется ли эффект со временем. Если разница незначима — либо меняйте гипотезу, либо закрывайте тест.
Частые вопросы
Что важно знать об A/B-тестах
p-value — вероятность увидеть такую разницу (или больше) случайно, если в реальности разницы между вариантами нет. Чем меньше p-value, тем выше доверие к результату. Пороги: p < 0,05 — стандартная значимость (95%), p < 0,01 — строгая (99%). Если p-value выше 0,05 — нельзя утверждать, что разница реальна; возможно, это случайное колебание.
• CR ~5%, MDE 20% (5% → 6%) — ~7 000–8 000 на вариант
• CR ~5%, MDE 50% (5% → 7,5%) — ~1 500 на вариант
• CR ~1%, MDE 20% — ~35 000 на вариант
Общее правило: чем ниже конверсия и меньше ожидаемый прирост — тем больше выборка. Менее 500–1000 на вариант — почти гарантированно случайный результат.
Зачем нужен калькулятор A/B-теста
A/B-тест — стандартный метод проверки гипотез в маркетинге: меняете одну переменную, измеряете конверсию в двух вариантах, принимаете решение. Но без статистики легко обмануться: разница в 10% может быть случайной, а разница в 3% — реальной, если выборка достаточно большая. Калькулятор помогает это понять: считает p-value, доверительную вероятность и определяет, значим ли результат.
Что считает инструмент
- Конверсии каждого варианта — CR A и CR B
- Абсолютный прирост — разница между CR B и CR A
- Uplift — относительный прирост в %
- z-score — статистика двухпропорционального z-теста
- p-value — вероятность случайности
- Доверительную вероятность — 1 − p-value
- Вердикт — значим ли результат на выбранном пороге
Метод расчёта
Инструмент использует двухпропорциональный z-тест. Формула:
- CR = conversions / visitors
- pooled p = (convA + convB) / (visA + visB)
- SE = √(p × (1 − p) × (1/nA + 1/nB))
- z = (CR_B − CR_A) / SE
- p-value = 2 × (1 − Φ(|z|)) — для двустороннего теста
Как работать с калькулятором
Шаг 1. Введите данные каждого варианта: посетители и конверсии.
Шаг 2. Выберите доверительную вероятность (обычно 95%) и тип теста (по умолчанию двусторонний).
Шаг 3. Нажмите «Проверить значимость» — увидите вердикт и метрики.
Шаг 4. Проверьте предупреждения: маленькая выборка, крайние конверсии — всё это снижает надёжность теста.
Шаг 5. Если тест ещё не запущен — сначала рассчитайте размер выборки во второй вкладке.
Типичные ошибки A/B-тестов
- Остановка теста сразу при p-value < 0,05 без учёта peeking problem
- Смена нескольких переменных за раз — результат нельзя интерпретировать
- Недостаточная выборка: менее 500–1000 на вариант — почти всегда случайный результат
- Игнорирование внешних факторов: праздники, рекламные всплески, изменения в трафике
- Тест длится менее 7 дней — не сглажены дневные и недельные колебания
- Отсутствие предварительного расчёта выборки — тест либо слишком долгий, либо слишком короткий
- Проверка десятков метрик одновременно — часть «победит» случайно
- Отсутствие контроля качества: тесты на ботах, VPN, нецелевой трафик
- Решение на основе CTR без учёта конверсии в целевое действие
Что важно помнить
Значимость ≠ практическая важность. Разница может быть статистически значимой, но настолько маленькой, что не окупит внедрение. Считайте бизнес-эффект: если uplift даёт +50 ₽ прибыли в месяц, но требует двух недель разработки — не стоит.
Один тест ≠ вечная истина. Результаты зависят от аудитории, времени, гео, сезона. Тот же тест в декабре и в июле может дать разный результат. Повторяйте тесты на разных сегментах и в разные периоды.
Связка с другими инструментами
Начните с расчёта рекламного бюджета — поймите экономику кампании. Разметьте ссылки через генератор UTM-меток, чтобы результаты эксперимента разложились по каналам. После запуска оценивайте посадочные через аудит сайта, а заголовки — через генератор заголовков.
Безопасность и приватность
Все данные — числа посетителей, конверсии, параметры теста — хранятся в вашем браузере. Ничего не отправляется на сервер NotOne. Это важно, если вы анализируете результаты клиентских кампаний или работаете с чувствительными метриками.