Вы думаете, что знаете, чего хочет аудитория от вашего сайта? Проверьте свои догадки! Вполне возможно, вас ждет сюрприз. А/Б-тестирование — процесс, позволяющий изучать запросы аудитории, предлагая ей различные варианты отображения страниц. В этой статье мы расскажем вам о том, что, как и для чего можно тестировать.
Илья Стечкин, OpenStack:Now, Павел Карпов, Mirantis
Материал впервые опубликован в журнале «Журналист» №06/2015
Все мы хотя бы раз проходили тесты. Например, когда сдавали на права. Или когда проверяли свой уровень владения иностранным языком. Так что выбирать между несколькими вариантами ответов, отмеченными той или иной буквой, вам уже приходилось.
А/Б-тесты — это тоже тестирование аудитории, правда она (аудитория) об этом в большинстве случаев даже не догадывается. Суть теста заключается в том, что двум одинаковым по численности группам показывают два разных варианта реализации одного и того же объекта. А потом делают выбор в пользу того из них, который покажет наиболее эффективные результаты.
Такие тесты проводятся менеджерами, издателями, владельцами интернет-магазинов (с помощью программистов, конечно же), чтобы принять правильное решение в отношении своих интернет-проектов: цвет и размер элементов навигации, количество мультимедийных объектов, положение текстовых и графических блоков на странице, их количество, наличие либо отсутствие; размер, семейство и цвет шрифтов; заголовки статей и разделов; побуждения к действию в конце статей; количество полей в формах; формат, форма и сюжет изображений и т.д.
Слепая уверенность в том, что вы знаете предпочтения аудитории, может оказаться большой ошибкой. Иногда результаты тестирования способны по-настоящему удивить. Не исключено, что если вы тестируете дизайнерское решение, то вам придется “наступить на горло собственной песне”, отказаться от своих представлений о прекрасном и поставить зеленую ссылку на красном фоне, потому что она лучше всего работает.
Приведем пример из личной практики. Компания Mirantis, в которой мы работаем, занимается, среди прочего, распространением дистрибутива (установщика) непроприетарного программного обеспечения для развертывания облачной инфраструктуры. Мы заинтересованы в том, чтобы этот продукт скачивали. Аудитория, которая заинтересована в этом техническом решении, насчитывает десятки тысяч пользователей по всему миру (в России этот интерес только формируется). И мы хотим сделать так, чтобы все эти люди скачали наш дистрибутив и могли применить его. Поэтому решили выяснить, как лучше всего оформить кнопку-ссылку на демонстрацию продукта. При этом важно было сделать так, чтобы не возникло конфликтов между ссылкой на сам продукт, и тестируемой ссылкой на его демонстрацию. Сложность заключалась в том, что обе кнопки расположены на одной странице, в непосредственной близости друг от друга. Представьте себе наше удивление, когда ссылка цвета детской неожиданности, размещенная под красной кнопкой на скачивание продукта, показала результаты лучше, чем синяя, зеленая, белая. Вопрос “Почему?” в данном случае контрпродуктивен. Цвет не нравился никому из нас, но тест упорно показывал его преимущество. Пришлось смириться.
Как вы уже поняли, протестировать можно практически все, что придет в голову. Мы, например, на российском сайте компании решили протестировать привлекательность мультимедийного оформления при публикации репортажа с мероприятия, в частности параллакс-эффекта (асинхронного движения элементов). Нас заинтересовал вопрос: повлияет ли это оформление на поведение аудитории? И если да, то каким образом? Забегая вперед скажем, что получить такое количество данных, которое позволило бы делать какие-то содержательные выводы, нам не удалось. Возможно, тема слишком узкая. Да и майская жара (вместе с праздниками) не способствует деловой активности технических специалистов. Но зато у нас есть возможность, опираясь на собственный опыт, рассказать о технологии проведения А/Б-тестов.
Почему возник вопрос
Знаменитый Snowfall, опубликованный The New York Times, вызвал большой интерес как аудитории, так и профессионального сообщества. Появились инструкции, рассказывающие о том, как делать лонгриды такого формата и описания инструментов, необходимых для реализации подобных проектов. Однако мало кто задавался вопросом: насколько универсальным является данное решение? Удержится ли интерес аудитории, после того, как пройдет эффект новизны?
Этот вопрос не праздный. Данный формат не слишком подходит, например, для проигрывания на мобильных устройствах. Особенно если принять во внимание невысокую скорость передачи данных в сетях третьего поколения (3G), которые до сих пор доминируют в России. При этом объем мобильного трафика в нашей стране стабильно растет (особенно на сайтах СМИ). Обратите внимание, например, на статистику по Android: майские показатели уже практически сравнялись с апрельскими, а еще только середина месяца!
По данным LiveInternet:
Суть эксперимента
22 апреля 2015 года мы начали эксперимент по проверке влияния оформления лонгрида на поведение пользователей. Используя механизмы A/Б-тестирования, мы хотели узнать, в частности, как изменятся такие показатели, как:
а) количество отказов,
б) время проведенное на странице и
в) виральность контента.
Механика теста, с точки зрения аудитории, довольно проста. Каждый второй пользователь перенаправляется на страницу, богатую графикой. Она отображается на мобильных устройствах с потерей некоторых элементов оформления. Каждый первый попадает на простую текстовую страницу, адаптированную для отображения на мобильных устройствах.
С редакционной и технической точек зрения все выглядит не так просто. Редакция должна подгототовить два варианта текста и разместить их на своем сайте. Далее необходимо сделать парковочную страницу, на которой будет размещен анонс и техническая ссылка, кликнув на которую, пользователь перенаправляется на один из вариантов тестируемой страницы.
Мы использовали в качестве парковочной страницы новость о событии, вынесенную активной ссылкой в соответствующий раздел официального сайта.
Тест начинался в тот момент, когда пользователь кликал по данной ссылке. Дальше он попадал на одну из заранее подготовленных тестовых страниц. Обе тестовые страницы содержали приблизительно одинаковый базовый контент: справку о мероприятии, фотографии, аннотированные презентации докладчиков. Основные отличия были связаны с внешним видом страниц.
Проект не был бы возможен без поддержки технических специалистов. Для тестирования использовался инструмент Convert (программное обеспечение, предназначенное специально для А/Б-тестирования — http://www.convert.com/), работа по настройке которого требует некоторого представления о том, как устроен ваш сайт.
Кроме того, настройка теста — штука довольно трудоемкая. Особенно, если вы впервые имеете дело с Convert. Еще одна плохая новость: интерфейс сервиса не русифицирован, что создает дополнительные сложности для русскоязычных пользователей. Но если вы нормально владеете английским, то сможете разобраться в возможностях платформы, даже не имея серьезных технических навыков, — инструмент хорошо документирован.
В режиме реального времени можно отслеживать результаты тестирования по заранее заданным параметрам. Повторимся, количество параметров практически неограничено. Однако выбор и настройка каждого параметра требуют времени. Так же, как создание и публикация вариантов страниц.
Из этой таблицы, например, мы видим, что существенной разницы с точки зрения поведения аудитории на странице нет. Однако цифры настолько малы, что не позволяют делать содержательных выводов. Причин, напомним, несколько: помимо специфики темы, сказались еще и майские праздники, которые традиционно характеризуются радикальным снижением посещаемости ресурсов, связанных с работой.
Так что для нас проект еще не закончен. Мы начали его 22 апреля и планировали проводить замеры в течении месяца. Возможно, на волне интереса к приближающемуся всемирному саммита сообщества OpenStack нам удастся получить дополнительную аудиторию. Но мы не уверены в этом, так как от момента события прошло уже довольно много времени. Надеемся главным образом на интерес ИТ-специалистов к презентациям, опубликованным на странице.
Пока что этот проект дал нам возможность проиллюстрировать рассказ об инструментах А/Б-тестирования, показать пример отображения результатов.
Эта таблица позволяет проанализировать виральность контента. В нашем случае она тоже невелика. Было бы интересно посмотреть на результаты замера, проведенного каким-нибудь СМИ общего интереса. На большей выборке станет понятнее, какое влияние оказывает оформление лонгрида на его способность к самовоспроизводству в социальных медиа. Пока мы можем предположить только, что аскетичный внешний вид, более подходящий для мобильных устройств, лучше подходит и для нужд продвижения в социальных сетях.
А, Б и все?
Представленный инструмент поддерживает не только метод А/Б-тестирования в общепринятом понимании, когда на странице тестируется вариация какого-либо элемента (к слову — вариаций может быть множество, не только две), но и такие методы, как:
- - split-URL, когда людей перенаправляют на другие страницы при заходе на оригинальную. Такой метод применяется в случаях, когда нет возможности внести изменения на одной и той же странице. Например в случае сложной верстки, либо если необходимо изменять не только HTML, CSS и JS, а еще и серверные скрипты, привязанные к URL страницы, либо вмешиваться в работу плагинов используемой CMS и т.д. В нашем случае как раз был применен данный вид тестирования ввиду сложности изменения параллакс-верстки и нежелания утяжелять код страницы комментируя теги неактивной разметки.
- - мультивариативные тесты, которые используются в случаях, когда идей много, а времени мало. В таких случаях в инструментарии задаются варианты конкретных элементов, например: 5 заголовков, 6 картинок, 2 текста, 4 кнопки, 2 фона и т.д. В последствии инструмент сам их компонует в вариации:
- + первый заголовок, первая картинка, первый текст, первая кнопка, первый фон;
- + первый заголовок, вторая картинка, первый текст, первая кнопка, первый фон;
- + первый заголовок, вторая картинка, первый текст, третья кнопка, первый фон;
- + и т.д.
Что же касается целей тестирования, то мы еще раз обращаем внимание: выбор ограничивается лишь вашей фантазией. Можно тестировать время, проводимое на странице; клики по ссылкам; грубину скролла по странице; количество страниц, посещенных после тестируемой, выполнение определенных действий на странице (комментирование, шаринг, участие в голосовании и т.д.).
Рискните предоставить аудитории возможность выбора — узнаете много интересного! И, главное, в итоге сможете предложить продукт, который, быть может, будет отличаться от вашей первоначальной задумки, зато будет соответствовать ожиданиям и потребностям аудитории.