Тестирование это не только технология

Прежде чем стать успешным экспериментатором, Вы должны изучить несколько базовых понятий. Эти понятия включают в себя: диагностику проблемных документов (Google Analytics хороший инструмент для такой диагностики), формулирование предложений по усовершенствованию этих документов, а также понимание того, каким образом использовать Website Optimizer для тестирования. И последнее, но не в последнюю очередь, у Вас должно быть терпение во время ожидания получения результатов, чтобы собрать достаточно данных, прежде чем делать выводы.

Давайте рассмотрим каждое понятие.

Диагностика и идеи по тестированию
Взгляните на документ, который получает большое количество просмотров пользователями. Есть ли там высокий показатель отказов? Что там может быть неправильного? Что останавливает людей от дальнейшего просмотра Вашего сайта? Что ожидают увидеть пользователи? Есть ли эта информация в документе? Есть ли в документе лишняя информация? Если Вы спросите посетителей, что они ожидают увидеть в документе (до его загрузки), то их ответ будет похож на то, что они увидят после загрузки документа? Тест, который больше похож на искусство, чем на науку, может улучшить эффективность конверсии документа на 30%, по сравнению с тестом, в котором просто содержится вывод о том, что различные версии Вашего документа обладают примерно одинаковой конверсией.

Варианты тестирования
Никакие идеи Вам не помогут, если Вы не знаете как создать тест. В Google есть множество демонстраций и статей, которые могут Вам помочь в создании своего первого теста, но лучший способ - просто начните использовать Website Optimizer для создания тестов. И прежде чем Вы изучите, Вы попробуете все виды углубленных экспериментов. Если это Ваш первый эксперимент, то Google рекмоендует простой тест A/B, где Вам надо указать Website Optimizer два или более URL и он просто разделит трафик между ними.

Ожидание
Иногда, работая с большим количеством тестов и данных, не спешите в выводами. Прежде чем объявить победителя, пускайте лошадей несколько раз по кругу. Website Optimizer покажет Вам возможности, как Вы можете улучшить оригинал для каждого варианта. Меньшее количество вариантов, означает меньшее количество тестируемых документов. Вы можете захотеть ждать не менее 2 недель и не менее, что за 95% "превосходство над оригиналом" объявить победителя, но это зависит от того, насколько Вы сами уверены в таких результатах.

Имейте в виду, что возможно Ваши испытания не смогут определить победителей или победителем могут даже оказаться оригинальные версии документов. Это может случиться, если тестируемые варианты примерно одинаковы, или если Ваш оригинальный документ действительно лучше других испытыемых вариантов. Эти испытания тоже имеют ценность, так как Вы узнаете как и что именно не надо показывать Вашим посетителям.

Вы можете получить несколько идей, что именно нужно тестировать на произвольном сайте, если ознакомитесь с недавно прошедшим on-line семинаром "Website Optimizer, что я должен тестировать?".

Оригинал: Testing is not just about Technology

Автор оригинала: Tom