Делите трафик между адресами назначения и читайте результат

Веса, которые сходятся, и разделение, которое не скачет

Вкладка A/B содержит список вариантов, у каждого — адрес назначения и вес. Форма отказывается сохраняться, пока веса не дадут ровно 100 %, и это кажется занудством ровно до первого раза, когда вы отлаживали тест, где 10 % трафика провалились в дыру округления. По умолчанию два варианта по пятьдесят; неравные разделения вроде девяноста и десяти столь же уместны, когда вы проверяете что-то рискованное на кусочке трафика.

Вариант назначается детерминированно на посетителя, а не случайно на запрос. Один и тот же человек, дважды прошедший по одной ссылке, увидит тот же адрес назначения, и это важно: посетитель, которого мотает между двумя посадочными страницами, даёт и плохое впечатление, и бессмысленный результат. Назначение выводится из того же дневного хеша посетителя, который используется для подсчёта уникальных, поэтому ничего дополнительно не хранится и никакая cookie для этого не ставится.

Результаты, о которых не заявляют больше, чем есть

На экране аналитики появляется виджет A/B для ссылок с запущенным разделением: клики и уникальные посетители по вариантам, фактическая доля каждого варианта против настроенной вами и изменение к предыдущему периоду.

Рядом с числами стоит доверительный интервал, посчитанный нормальным приближением, и подпись, указывающая порог, с которого разница становится статистически значимой. Большинство инструментов для ссылок показывают два столбика и оставляют читателю додумать, что победил более высокий; смысл подписи в том, чтобы сотня кликов с разрывом в 6 % не была подана клиенту как победа.

Метка варианта попадает в само событие клика, поэтому по ней можно отфильтровать любую другую разбивку. Можно спросить, обошёл ли вариант B вариант A именно на мобильных или только в одной стране, — и не ставить ради этого второй эксперимент.

Что имеет смысл тестировать на ссылке

Варианты посадочной страницы — стандартный случай: две версии страницы, одна ссылка, живой трафик вместо мнения. Больше всего выигрывают страницы цен и офферов, потому что разница между формулировками обычно больше, чем от любой правки заголовка.

Кроме того, разделение полезно для сравнения адресов назначения, которые вообще не являются вариантами друг друга: страница товара против обзорной статьи, форма регистрации против записи на демо, карточка в магазине приложений против веб-оформления заказа. Партнёрские маркетологи так сравнивают два оффера на одном трафике — это честнее, чем гонять их в соседние недели.

Поскольку разделение живёт на ссылке, а не на странице, можно тестировать адреса назначения, которыми вы не владеете, и страницы, куда некуда вставить скрипт тестирования.

• ✓Две посадочные страницы на одном и том же трафике кампании
• ✓Постепенная выкатка новой страницы на долю трафика перед полным переключением
• ✓Два оффера от разных рекламодателей на одинаковом трафике
• ✓Веб-оформление заказа против карточки в магазине приложений в мобильных кампаниях

Завершить тест — это изменить одно поле

Когда вариант победил, поставьте победивший адрес базовым и отключите разделение. Каждая ссылка, которой вы делились до этого, продолжает работать — короткий адрес не менялся, — а исторические данные кликов остаются при ней, включая метки вариантов за период теста.

Разделение сочетается с остальными настройками ссылки. Правила таргетинга имеют приоритет, поэтому рынок с выделенным адресом назначения автоматически исключается из эксперимента. Параметры кампании добавляются к выбранному варианту, поэтому обе стороны теста корректно атрибутируются и в вашей аналитике, и в нашей.