Чтение онлайн

Рис. 4.2 показывает, что ранние победители не подтверждают своего преимущества при долгом тестировании. Сплит-тестирование по-настоящему увлекает. Как только вы точно определите победителя, можете начинать создавать нечто более совершенное. Это затяжной процесс улучшения, использующий статистические данные для подстраховки ваших решений. Вот почему оптимизация уровня конверсии работает так эффективно: все тестируется и отслеживается. Традиционная оптимизация уровня конверсии в первую очередь смотрит на результаты сплит-тестирования страниц сайта, поэтому мы сейчас концентрируемся на этом. Как только вы поймете принцип сплит-тестирования, сможете использовать его для тестирования ваших email-рассылок, рекламы за клик — почти для всего, что захотите. Возможно, вы решите применить несколько другие технологии тестирования или иное программное обеспечение, но идея останется прежней.

Рис. 4.2. Чтобы получить точные результаты сплит-тестирования, необходима статистическая значимость — высококлассное измерение достоверности результатов

Что такое A/B-тестирование

A/B-тестирование означает, что у вас есть два решения: A и B. К примеру, у вас два различных заголовка на главной странице и вы хотите их протестировать, чтобы понять, какой конвертирует лучше. Может показаться глупым называть это A/B- вместо сплит-тестирования, но существуют и более сложные сплит-тесты, которые вы можете использовать. Вскоре мы подойдем к ним.

Как и когда применять A/B-тестирование

Есть несколько путей проведения тестирования A/B на веб-странице.

К примеру, у вас есть две версии страницы на разных адресах URL (например, адреса сайтов типа www.yoursite.com). Вы можете ввести эти адреса в бесплатную тестовую программу, такую как Google Content Experiments. Или использовать платную программу, например Optimizely или Visual Website Optimizer, предоставляющую возможность работать с визуальным редактором. С такой опцией вы сможете вводить адрес URL действующей страницы и вносить изменения напрямую в тестовой программе, используя простую функцию перетаскивания в визуальном редакторе (операция drag-and-drop). Эта опция хороша для небольших изменений.

Для кардинальных преобразований проще размещать страницу на другом адресе URL. Если в компании нет веб-дизайнеров, графический редактор — отличное решение. Не нужно быть специалистом в программных кодах: вы просто вносите небольшие изменения в визуальном редакторе, и программа автоматически печатает их на специальную тестовую страницу. Для маленьких сайтов и компаний это отличное решение, чтобы быстро начать сплит-тестирование.

Возможно, вы удивитесь, насколько большими должны быть тесты. Нужно ли немедленно тестировать маленькую идею, например изменение заголовка или изображение, или же анализировать только крупные изменения, такие как полная реконструкция страницы? Я бы сказал, что все зависит от цели и опыта. Если вы тестируете множество изменений сразу, то можете достичь больших успехов за короткий промежуток времени. Однако сложно сказать, какие именно поправки принесут желаемый эффект. С другой стороны, если вы тестируете одно изменение, то значительный рост может потребовать большего времени. Но так проще понять, какое именно изменение привело к конверсии.

Исходя из опыта, я предпочитаю делать большие и сложные изменения максимально быстро. А прежде чем взять на себя большие риски, я предпочитаю начинать с маленьких поправок, чтобы удостовериться в верности предположений. Если вы новичок, то, возможно, захотите начать с малого и протестировать одно или два изменения за раз. Чем больше у вас трафика и продаж, тем больше маленьких изменений окажут весомый эффект. Обычно с крупными клиентами мы обсуждаем варианты стратегий и вместе решаем, какой курс действий лучше в каждой отдельной ситуации.

Когда необходимо тестировать

A/B-тестирование стоит применять при любых изменениях на сайте, спланированном под конверсию. Одна из самых больших ловушек конверсии срабатывает, когда осуществляется непроверенная, порой фатальная идея. Но я больше сталкиваюсь с неудачной реализацией, чем с плохими идеями. К примеру, у вас появилась мысль изменить сайт, но в новом дизайне сайта кнопка «Заказать сейчас» находится в самом низу страницы. Идея свежего оформления неплохая, но положение кнопки оказывается катастрофическим. И если вы осознали, что это и есть фатальная ошибка, — вы сделали первый шаг к победе. Все становится очевидным после теста.

Одни из самых больших ошибок, которые я когда-либо видел, происходят из-за того, что новый сайт не тестировали на сравнение с прежним. К примеру, мы говорим о существующей мультимиллионной компании. Она действительно намучилась с ребрендингом. Управление провело исследования на удобство использования: в итоге новый сайт выглядит достаточно привлекательным и современным, с массой всяческих ненужных функций, которые только мог придумать дизайнер. С точки зрения наглядности это смотрится великолепно. Но никто не провел сравнительного тестирования старого и нового сайтов. В результате продажи компании резко упали — на 300 % в месяц, а восстановление прежнего уровня заняло много месяцев. Посетители просто не могли найти правильную страницу или нужную информацию, чтобы сделать заказ. Одна эта ошибка обошлась владельцам компании в миллионы долларов упущенной прибыли. Однако все можно было быстро исправить простым A/B-сплит-тестированием. Поэтому поднимите свою правую руку и повторяйте за мной: «Не важно, насколько я умный или стратегически мыслящий, я осознаю, что всегда существует вероятность ухудшения конверсий. Я торжественно клянусь, что серьезно отнесусь к сплит-тестированию моих новых веб-страниц, сравнивая их со старыми версиями, чтобы удостовериться, что я ничего не упустил».

Что такое многомерное тестирование

Тестирование двух версий и более, в противовес простому двойному А/В, называется многомерным тестированием. Технически все сплит-тесты многомерные, потому что «много» означает два или более. Но в мире конверсии мы используем слово многомерное, подразумевая «более двух».

Существует несколько видов многомерного тестирования. Первый мы называем A/B/C/D-тестированием, или A/B/n. A/B/C/D-тестирование — в действительности A/B/n-тест четырех страниц, на каждой проверяется что-то свое. Вы одновременно тестируете все страницы в сравнении с другими. Представим, что у вас есть целевая страница и вы не знаете, как улучшить конверсии. Вы нанимаете четырех дизайнеров, чтобы реконструировать одну и ту же страницу, а затем с помощью тестовой программы просто сравниваете их друг с другом и со старой.

В этом случае вы выполняете A/B/C/D/E-тестирование, не сильно отличающееся от A/B-тестирования, о котором мы говорили ранее. Все просто: существует четыре дополнительные версии страницы. Оригинальная версия — А, известная как контрольная, а B/C/D/E — новые дизайны. Четыре здесь не магическое число. Вы можете протестировать на сравнение любое количество страниц. Это могут быть A/B/C/D/E, A/B/C/D/E/F и т. д. Вы уловили суть. Рис. 4.3 иллюстрирует многомерный тест с четырьмя вариантами и текущей версией страницы в качестве контрольной.

Рис. 4.3. Многомерный тест позволяет проводить сплит-тестирование с большим количеством страниц. «Многомерный» — означает, что вы можете тестировать более двух вариантов

Многомерное комбинированное тестирование

Другой тип многомерного тестирования — именно то, о чем думает большинство, впервые услышав эту фразу. Я называю это многомерным комбинированным тестом. Скажем, у вас есть сайт и вы хотите провести тестирование по пяти различным элементам — основному изображению, заголовку, двум разным местам с мотивировкой действия и сноске боковой панели. Вы можете протестировать каждый из этих элементов по отдельности, используя A/B/n-тестирование, но это только поможет определить, какой лучше. Такой анализ ничего не скажет по поводу комбинаций этих элементов. Многомерный тест позволит тестировать все или некоторые различные варианты в комбинации. Вот, к примеру.

Идея 1: изменение текста в заголовке.

Идея 2: перемещение кнопки влево.

Идея 3: изменение фонового цвета.

Вы можете получить много конверсий с этими тремя элементами. Но тестировали ли их все одновременно? Что если две идеи работают, а одна нет? Как вы узнаете, какая не работает? Если вы поместили все новые идеи на одну страницу и провели A/B-тестирование на сравнение со старой версией страницы, как определите, что происходит? Если тестирование будет неудовлетворительным, то как вы узнаете, почему? Если результат будет положительным, вы также не узнаете, почему. Если две идеи хороши, а одна неудачна, то подавляют ли они друг друга? Уменьшат ли они ваш коэффициент конверсии?