A/B тестирование сайта

Google Optimize - бесплатная платформа A/B тестирования от Google - была закрыта 30 сентября 2023 года. До этого она была дефолтным выбором для большинства проектов, потому что бесплатна и нативно интегрирована с GA4. После закрытия рынок раскололся на платные решения (VWO, Convert, Optimizely) и условно-бесплатные альтернативы с серьёзными ограничениями.

Google рекомендовал переходить на партнёров через программу Optimize 360 Successors, но это всё платные платформы. Бесплатной замены уровня Optimize не появилось - объясняется это тем, что A/B тестирование требует серьёзной инфраструктуры (быстрая доставка экспериментов без flicker, точная статистика, сегментация), и поддерживать такое бесплатно никто не готов.

A/B тест требует достаточного объёма данных, иначе результат - случайность. Базовое правило: чтобы тест с конверсией 2% и ожидаемым улучшением на 20% (то есть до 2,4%) дал значимый результат с вероятностью 95% и мощностью 80%, нужно около 5000 конверсий на вариант, то есть 10000 на тест. При конверсии 2% это 500000 посетителей.

Для большинства эстонских сайтов это нереальные цифры за разумное время. Поэтому тестируем большие изменения с потенциалом +30-50% (полный редизайн страницы, новая структура, кардинально другой CTA), а не мелкие правки вроде цвета кнопки. Чем меньше трафик, тем крупнее должны быть гипотезы.

Альтернатива при малом трафике - последовательное тестирование (sequential testing) и Bayesian-методы вместо классического frequentist. VWO и Convert поддерживают оба подхода. Bayesian даёт интерпретируемый результат раньше, чем классика, но требует понимания приоров.

Подключение и настройка платформы A/B тестирования - от 290 EUR. Запуск одного теста с подготовкой гипотезы, вёрстки варианта и анализа результата - от 390 EUR. Ежемесячное ведение программы тестирования (2-3 теста в месяц + анализ) - от 690 EUR в месяц. Подписка на платформу (VWO, Convert) оплачивается отдельно.