Цель 3: Конверсия в зависимости от сегмента посетителя. Нам важно отдельно проанализировать конверсию пользователей в зависимости от источника посетителя. В эксперименте будут участвовать пользователи, перешедшие с рассылки и те, кто перешел к акции с сайта. Обычно эти сегменты посетителей показывают разную конверсию на одной и той же целевой странице. Наша задача - увидеть эту разницу и предложить лучший вариант страницы для каждого сегмента, т.к. мы можем этим сегментам показывать разные страницы.
К сожалению, в Google Content Experiments можно задать только одну цель. Но в дальнейшем результаты эксперимента можно проанализировать с точки зрения достижения других целей вручную.
Задаем основную цель эксперимента – «Транзакция».
Рисунок 5. Выбор целей эксперимента
Шаг 4. Размещение кодов эксперимента на основной странице эксперимента
Обратите внимание, что код необходимо размещать в начале основной страницы эксперимента, после открывающего тега
Рисунок 6. Код для проведения эксперимента
Справка
Код эксперимента обязательно должен находиться в секции
. При загрузке скрипт тестирования определяет, какой вариант увидит пользователь и производит redirect пользователя на нужную страницу.Шаг 5. Начало эксперимента, проверка работы эксперимента
Проверить, установлены ли коды на странице, поможет встроенный анализатор:
Рисунок 7. Проверка кода на страницах
Рекомендуется после запуска эксперимента убедиться, что все работает корректно. Для этого:
1. Зайдите на основную страницу эксперимента: www.site.ru/action/ и посмотрите файлы cookies. Попытайтесь несколько раз удалить файлы cookies и увидеть различные варианты страницы. Удалять файлы cookies необходимо, чтобы повторно участвовать в эксперименте.
2.Зайдите на вторую страницу эксперимента www.site.ru/action1/. Поскольку страница тестовая, на ней не должно происходить редиректов и подмены содержания.
Ход эксперимента
Если вы уже проводили эксперимент с помощью Google Content Experiments, то, скорее всего, заметили, что система не делит трафик 50/50 между страницами. Показы распределяются по принципу производительности. Это позволяет снизить риск проигрыша во время проведения эксперимента.
Пояснения
После запуска эксперимента в Google Content Experiments трафик будет распределяться не пропорционально между вариантами. Принцип распределения трафика описан как Принцип Гиттинса или Multi-armed bandit problem, http://en.wikipedia.org/wiki/Multi-armed_bandit_problemhttp://ru.wikipedia.org/wiki/Индексы Гиттинса.
Эксперты Google Analytics до сих не могут прийти к единому мнению о том, какой принцип показов лучше: 50 на 50 или основанный на взвешенной оценке показов. Скорее всего, в обновленной версии инструмента появится возможность выбора стратегии показов.
Шаг 6. Анализ результатов
Через некоторое время в интерфейсе Google Content Experiments вы увидите результаты.
Рисунок 8. Анализ результатов. Вкладка «Конверсия»
Вкладка «Конверсии» - показывает результаты по выбранной вами цели. В нашем случае это «Транзакция».
Также вы можете посмотреть результаты по другим целям, обозначенным на сайте. Или сегментировать аудиторию.
Рисунок 9. Анализ результатов. Вкладка "Набор целей1"
Пояснения
В инструменте Content Experiments есть возможность ограничить процент пользователей, которые будут участвовать в эксперименте. Например, вы можете задать условие: «Показывать эксперимент только 50% посетителей тестируемой страницы».
В инструменте нет возможности ограничить сегмент пользователей, которым будет показываться эксперимент. Например, вы не можете установить условие: «Показывать эксперимент только новым посетителям сайта». Проанализировать результаты эксперимента на сегменте посетителей сайта – возможно. С помощью стандартного инструмента «Расширенные сегменты» в Google Analytics.
Как посчитать вероятность, если цель не являлась основной?
Рекомендуется пользоваться простым инструментом подсчета статистики, созданным в Excel.
Выводы:
Инструмент является бесплатным и позволяет провести наиболее популярный вид тестирования – эксперимент на основе URL. Но сложные эксперименты, описанные ниже, в нем провести невозможно.
Многие помнят Google Website Optimizer. В 2012 году инструмент был интегрирован в Google Analytics и стал назваться Content Experiments. К сожалению, сделав шаг вперед в интеграции, Google совершил два шага назад по функциональности Google Website Optimizer. Вы теперь не можете:
проводить мультивариантное тестирование (тестирование одного или нескольких элементов на нескольких страницах одновременно);
выбирать и задавать процентное распределение трафика между вариантами.
К тому же исчезла «гибкость» инструмента. Но мы уверены, что инженеры Google не оставят рекомендации и предложения по функциональности без внимания и мы в скором времени сможем пользоваться улучшенным и многофункциональным продуктом.
Рассмотрим вторую задачу по тестированию, которую пока невозможно решить с помощью Google Content Experiments. Одновременно исследуем платный инструмент Visual Website Optimizer и его специфику.
7.2.2 Тестируем повторяющиеся элементы сайта на нескольких страницах (элементы шапки, навигацию и т.д.)
Вводная информация по эксперименту: Анализ аудитории и покупок на сайте выявил конверсионный раздел. Условно назовем его «Пазлы». Товары из раздела хорошо продаются, но в раздел приходит малое количество посетителей с сайта, т.к. навигация к нему затруднена. Решено было пересмотреть навигацию к разделу.
Рисунок 10. Пример навигации на сайте
Задача 2: Необходимо протестировать другое расположение категории в меню навигации на сайте. Для того чтобы показать возможности инструмента тестирования, проведем эксперимент на ограниченной аудитории – постоянных покупателях интернет-магазина.
Пояснения
В этом эксперименте нет определенной основной страницы для эксперимента. Изменения происходят на всех страницах сайта в навигации. Поэтому инструмент Google Content Experiments не подходит.
Описанный ниже тип эксперимента можно выбрать, если вы проводите тестирование:
цвета кнопки «Купить» на всех карточках товара;
расположения телефона в шапке сайта и т.п.
Цели эксперимента:
Для эксперимента были выбраны следующие цели, отслеживание которых уже настроено в Google Analytics:
1) Повышение продаж товаров из раздела «Пазлы» на аудитории постоянных покупателей. С учетом стоимости товаров в разделе, эксперимент может повысить средний чек магазина и увеличить количество купленных товаров в корзине покупателей. Все эти метрики необходимо будет проанализировать в конце эксперимента.
2) Клик по ссылке в навигации. Нам важно понимать увеличилось ли количество переходов в раздел из навигации сайта. Эту микроконверсию тоже необходимо считать.
Пояснения
Если цели, обозначенные выше, не настроены в Google Analytics, то вы можете настроить отслеживание целей в инструменте тестирования.
Большинство инструментов тестирования позволяет экспортировать данные в Google Analytics. За счет этого всю аналитику тестирования вы можете проводить в его интерфейсе.
Шаг 1. Для реализации эксперимента воспользуемся Visual Website Optimizer – платным инструментом по тестированию содержания. Выбираем A/B тест.
Шаг 2. Первый шаг. Задаем стартовый URL
Рисунок 11. Указываем стартовый URL
Т.к. наш эксперимент не зависит от URL, и фактически будет проходить на всем сайте - вводим главную страницу сайта. В дальнейшем система дает возможность изменить или дополнить URL.
Заполненное на данном шаге поле влияет только на то, какая страница будет показана на следующем шаге.
Шаг 3. С помощью встроенного в систему визуального редактора вносим необходимые изменения в навигацию сайта.
Рисунок 12. Интерфейс визуального редактора
Шаг 4. Переходим к настройке целей эксперимента
Если Вы планируете в дальнейшем анализировать результаты эксперимента с помощью VWO, Вам необходимо настроить цели в интерфейсе.
Рисунок 13. Настройка целей
В инструменте есть возможность задать несколько целей одновременно. Победитель будет определяться по каждой цели в отдельности.
В нашем же эксперименте вся аналитика будет проводиться в Google Analytics, т.к. там заранее были настроены цели. В интерфейсе VWO мы указываем незначимую для нас цель: «Вовлечение», чтобы пройти на следующий этап настройки эксперимента.
Шаг 5. Настройка эксперимента
Рисунок 14. Настройка эксперимента
Тестируемые страницы и аудитория: информация, указанная здесь, влияет на страницы, на которых будет проходить эксперимент. Вы вносите изменения в поле, когда вы хотите, чтобы тестирование проходило на некоторых страницах или на всем вашем сайте.
Если вы хотите запустить тест на всех страницах, которые содержат, к примеру, http://example.com/products/, то вы должны указать http://example.com/products* .
Если вы хотите запустить тест на всем сайте, скажем, на http://www.example.com, то укажите в поле http://www.example.com*
Пояснения
К сожалению «*» единственный оператор, который воспринимает система. Другие операторы регулярных выражений Visual Website Optimizer не воспринимает.
Процент трафика участвующего в эксперименте: указываем 100%.
Таргетирование на сегмент аудиторий: указываем сегмент постоянных покупателей магазина. В нашем случае, постоянные покупатели имеют cookies esky_LOGIN
Рисунок 15. Эксперимент проводится на постоянных покупателях