Как отличить результат от случайности
Продажи выросли после нового фото. Но за те же дни могла начаться распродажа или ускориться доставка. Чтобы понять пользу изменения, нужно заранее решить, с чем сравнивать результат и какие ещё причины роста проверить.
Что записать до начала проверки
Запишите проблему, причинную гипотезу, одно изменение, основную метрику, защитные показатели, срок, бюджет, необходимые данные и варианты решения. Основная метрика может быть вкладом; защитные — возвраты, запас и допустимый убыток. Для исследования фото CTR остаётся промежуточным.
Разделите три даты: окончание воздействия, накопление атрибутированных заказов и момент, когда уже известны выкупы и поздние расходы. Окно отчётности не гарантирует, что все возвраты и услуги уже закрыты.
Как сравнить варианты
| Дизайн | Что даёт | Ограничение |
|---|---|---|
| Случайное разделение сопоставимых объектов | Лучше отделяет воздействие от других причин | Не всегда доступно в кабинете; возможен переток между SKU |
| Тестовая и подобранная контрольная группа | Учитывает общий тренд | Группы могут различаться скрыто |
| Повторные сопоставимые периоды | Доступный рабочий ориентир | Сезон, алгоритм и аудитория меняются |
| Один период «до/после» | Первичная диагностика | Слабое основание для причинного вывода |
Сравнение стратегий в отчёте само по себе не делает распределение случайным.
Что означает ноль заказов
Учебная вероятность: если истинный CR равен 3%, шанс получить ноль заказов за 20 независимых одинаковых кликов — 0,97^20 ≈ 54%. За 100 — около 4,8%. Поэтому двадцать кликов без заказа почти ничего не опровергают в таком предположении.
Эта модель требует независимости, одинаковой вероятности и зрелого окна. Реальные клики неоднородны; расчёт помогает увидеть неопределённость, а не сертифицирует результат. При нуле успехов ориентир верхней 95%-границы порядка 3/n применим только как грубая биномиальная оценка с теми же предпосылками.
Решайте без подглядывания за удачным днём
Постоянно проверять деньги и технические ошибки нужно. Объявлять победителя при первом хорошем часе — плохая статистика. Назначьте обзор заранее; при слабом потоке результат может остаться «неопределённо». Повторяйте только если стоимость дополнительного знания оправдана.
Для приближённого контроля общего тренда можно сравнить отношение результатов теста к контролю до и после. Это не устраняет различия ассортимента и не даёт причинного эффекта автоматически.
Продумайте проверку до изменения
Перепишите утверждение «после нового фото продажи выросли на 20%» в проверяемую гипотезу. Назовите объёмы, период, контроль и альтернативные объяснения.
Проверьте понимание
Войдите через Яндекс ID, чтобы сохранять результаты между устройствами. Без входа записи остаются в этом браузере.