Перейти к основному содержимому

A/B-тестирование карточек товара

Модуль: 5.14 · A/B тестирование

Что это​

A/B-тест помогает объективно выбрать, какое оформление карточки работает лучше: например, сравнить два главных фото или два варианта текста. Вы заводите тест с несколькими вариантами, запускаете его, а Optima собирает по каждому варианту кликабельность (CTR) из рекламной статистики Wildberries и по итогам сама подсказывает победителя — не «на глаз», а с проверкой статистической значимости. Так решение о фото и контенте опирается на цифры, а не на интуицию.

Как пользоваться​

  1. Создайте тест — укажите кабинет и карточку (артикул nmId), название и сравниваемые варианты (минимум два). Вариант — это фото- или контент-версия карточки; один из вариантов можно пометить контрольным (базовым). Тест появляется в статусе «черновик».

    POST /ab-tests

  2. Запустите тест — он переходит «в работу». Optima запоминает, какой вариант сейчас стоит на карточке (по умолчанию — контрольный), и начинает считать его показы и клики:

    POST /ab-tests/<id>/start

  3. Загрузите фото вариантов и выложите на карточку. Для фото-варианта загрузите файл (JPEG, PNG или WebP, до 10 МБ). Кнопка «выложить» заменяет фото карточки Wildberries на выбранной позиции (по умолчанию — главное фото); если тест запущен, Optima сразу начинает считать статистику этого варианта. После завершения теста можно одним действием выложить фото победителя:

    POST /ab-tests/<id>/variants/<variantId>/image
    POST /ab-tests/<id>/variants/<variantId>/apply
    POST /ab-tests/<id>/apply-winner

  4. Переключайте варианты вручную, если меняете карточку сами. Когда сменили фото/контент на карточке, отметьте это в Optima — период прежнего варианта закрывается, и его CTR сразу фиксируется, а статистика дальше идёт новому варианту. История периодов с CTR каждого доступна в любой момент; данные обновляются автоматически каждые 3 часа:

    POST /ab-tests/<id>/variants/<variantId>/activate
    GET  /ab-tests/<id>/periods

  5. Проанализируйте результат, когда данных достаточно. Optima рассчитывает CTR по каждому варианту, оценивает значимость разницы и определяет победителя, после чего тест считается завершённым:

    POST /ab-tests/<id>/analyze
    GET  /ab-tests/<id>/report

  6. Останавливайте и просматривайте. Активный тест можно остановить в любой момент; список тестов доступен по карточке кабинета:

    POST /ab-tests/<id>/stop
    GET  /ab-tests?wbAccountId=<id>&nmId=<nmId>

Как это работает​

Победитель выбирается по кликабельности: варианты сравниваются двухдолевым статистическим тестом (z-тест по CTR). Победитель фиксируется, только если разница статистически значима (доверие 95%). Если данных мало или разница незначима, отчёт честно сообщит, что явного победителя нет, — чтобы вы не приняли случайное колебание за реальное улучшение.

Ограничения​

  • Карточка Wildberries показывает одну версию за раз, поэтому варианты сравниваются по своим периодам показа, а не одновременно. Статистика WB подневная: день переключения целиком засчитывается новому варианту, поэтому вариант, простоявший меньше суток, в сравнении не участвует.
  • Фото на Wildberries обновляется не мгновенно: после выкладки WB обрабатывает файл сам; требования WB — не меньше 700×900 px. Для выкладки ключ кабинета должен иметь доступ к категории «Контент».
  • Учитывается рекламный трафик — показы и клики берутся из статистики рекламных кампаний Wildberries по карточке.
  • Победитель определяется только при достаточных данных. На малых объёмах показов результат будет «недостаточно данных» либо «разница незначима» — победитель не назначается.
  • Анализ завершает тест. Запуск анализа фиксирует итог и переводит тест в статус «завершён»; после этого запускать его заново нельзя.
  • Каждый работает со своими кабинетами: тесты доступны только по тем кабинетам Wildberries, которые принадлежат вам.