Целью Google является обеспечение ответов на вопросы пользователей типа: «что я буду делать завтра?» и «какую работу мне стоит сделать?»… Пока мы имеем очень мало общей информации в Google. Алгоритмы должны улучшаться в сторону персонализации.
Эрик Шмидт (Eric Schmidt), CEO Google.
На протяжении многих лет компания Google заявляла, что «рейтинг сайта в результатах поиска Google определяется автоматически с помощью компьютерных алгоритмов, которые рассчитывают тысячи факторов для страницы для определенного запроса».
Затем в мае 2007 года компания изменила это заявление: «рейтинг сайта в результатах поиска Google полагается на компьютерные алгоритмы, которые рассчитывают тысячи факторов для страницы для определенного запроса».
Незначительная корректировка в формулировках, но важное изменение в верховенстве алгоритмов Google, которое компания рекламировала несколько лет. Google, наконец, признала, что результаты ее поиска определяются не только автоматически. Теперь они просто «в значительной степени опираются» на них. Почему внезапно произошли такие изменения?
Google утверждает, что это изменение не связано с внезапными изменениями в философии компании. Действительно, небольшая корректировка вряд ли повлияет на изменение бренда. Мы ведь говорим всего лишь об официальных объяснениях компании своих результатов поиска. И в самом деле, многие источники говорят о постоянной калибровке алгоритма, которая сейчас производится с человеческой помощью.
Google, например, использует огромную команду «Оценщиков качества» («Quality Raters») (Копию старого учебного пособия Вы можете найти здесь). Рассредоточенные по всему миру, эти оценщики, в основном студенты колледжей, просматривают результаты поиска с учетом установленных критериев тестирования алгоритмов и смотрят, что работает «лучше» в прогнозировании качества сайта (хотя напрямую качество отдельных сайтов не оценивается).
Роль оценщика качества
Как оценщик, Вы должны оценивать связку «запрос-страница». Запрос связан со словом или словами, которые пользователь вводит в поисковую форму поисковой системы. URL это веб-адрес страницы, которую Вы оцениваете. Страница, или Целевая страница, это страница, которую Вы оцениваете. Это страница, которую Вы видите, после перехода по URL.
Для каждой задачи Вам предоставлен язык запроса и местоположение пользователя. Вы должны оценить каждую задачу в контексте языка запроса и местоположения пользователя. Каждый запрос показан в квадратных скобках, за которыми следуют язык запроса и местоположение пользователя. Например, [coca cola], Spanish (MX). В данном руководстве по умолчанию предполагается, что запрос связан с английским языком и местоположение пользователя США - English (US).
Прежде чем оценивать запрос, Вы должны понять его. Если смысл запроса Вам неясен, то Вам необходимо провести исследование, чтобы понять его. Затем Вы будуте оценивать страницы на основе их релевантности запросу и полезности для пользователей и присваивать им рейтинги (Rating Scale).
Также Google помогают зарегистрированные пользователи, которые могут, войдя в свой аккаунт в Google, поощрять и удалять сайты из своих результатов поиска в соответствии со своими предпочтениями. Эти данные также используются для настройки и дальнейшей оптимизации алгоритмов. Так компания Google получает объективные оценки и ранжирование сайтов, которые получаются из субъективной оценки коллективного человеческого интеллекта. Так оно и должно быть, если Google продолжает возвращать результаты поиска, которые мы воспринимаем «лучшими» ответами на наши запросы.
В серии интервью с ключевыми инженерами Google, которые занимают центральные роли в управлении поиска компании, будут обсуждаться ресурсы и методы их использования для оптимизации системы в мировом масштабе. Серия начинается с интервью Скотта Хаффмана (Engineering director Scott Huffman), который курирует команду оценщиков поиска. Второе интервью дал старший инженер программного обеспечение Google Мэтт Катс (Senior Google software engineer Matt Cutts). Завершает серию интервью с Амитом Сингалом (Google Fellow Amit Singhal).
Часть I: Скотт Хаффман
Джон Пачковски: Как Вы поддерживаете качество поиска?
Скотт Хаффман: Мы постоянно оцениваем качество результатов нашего поиска в сотнях различных мест и языков по всему миру. Так что каждый день мы получаем случайную выборку качества, которую мы связываем с запросами пользователей. Оценщики смотрят на качество каждого результата поиска в этих запросах. Мы находимся в постоянном отслеживании широкого спектра различного вида сигналов, которые проходят через нас.
Д.П.: Поговорим подробнее о человеческом факторе. Вы нанимаете людей для оценки качества сайтов?
С.Х.: Да, у нас работают люди по всему миру, которые прошли подготовку для оценки качества результатов поиска. Мы хотели, чтобы они находились в своей стране, понимали местную культуру и все такое. И тогда мы получаем потоковую рабочую систему, которая кормится различными видами зада по оценке. Например, «Расскажите, что Вы думаете о результатах поиска по этому запросу?», а затем из этих данных мы получаем набор совокупных показателей, которые мы рассматриваем и отслеживаем с течением времени.
Д.П.: Как много у Вас таких оценщиков?
С.Х.: Как много? К сожалению, мы не можем говорить о точном числе.
Д.П.: Порядок? Я слышал: 10000.
С.Х.: Их число является очень большим, что обусловлено несколькими причинами. Одна из них, как я уже говорил, то, что мы стараемся делать обширную оценку по всем локализациям Google, а их очень много. Значит, мы уже говорим о довольно большой группе людей. Во-вторых, мы предпочитаем использовать многочисленные группы в узких нишах, чтобы получать независимую картину оценки нашего качества. Мы получаем множество запросов со всех концов мира, и нам нужна широкая база людей, которые помогут нам понять, насколько хороши наши результаты поиска для них.
Д.П.: Эти оценщики это студенты или случайные люди? Каковы Ваши требования?
С.Х.: Люди набираются в широком диапазоне. Требования не являются супер-конкретными. По сути, мы требуем базовый уровень образования, главным образом, потому что нам необходимо, чтобы они могли свободно общаться с нами, давать нам свои комментарии и тому подобные вещи в письменной форме.
Д.П.: Как их подготавливают?
С.Х.: Подготовка довольна проста. Есть руководства и учебные видео и, в конечном счете, участие в рейтинговой программе. Мы помогаем им понять, что означает высшая степень актуальности и полезности для пользователя в результатах поиска. Есть ли доминирующие результаты для конкретного поиска сегодня? Если да, то они должны быть в самом верху. Возьмите неточный запрос типа… «Олимпийские игры». Если пользователь ищет «Олимпийские игры», то результаты Олимпийских игр 1996 года для него менее интересны, чем результаты с Олимпийских игр 2008 года.
Д.П.: Как Вы оцениваете данные, предоставленные оценщиками? Есть ли контроль качества?
С.Х.: Оценщики работают в своих странах, поэтому мы не видим их каждый день. И мы, обычно, не общаемся с ними по телефону. У нас есть автоматизированная система, которая позволяет отслеживать ситуации типа, когда оценщики постоянно сравнивают два сайта в одно и тоже время. У нас также есть модераторы. Но, в конечном итоге, реальный контроль качества осуществляется людьми, которые работают с ранжированием и интерфейсом поиска. Это люди, которые понимают, почему мы сегодня работаем лучше в Китае, чем неделю или месяц назад. Что изменилось? Что мы делаем лучше? Программа оценки дает нашим инженерам только агрегированный показатель, который говорит, насколько хорошо их алгоритмы работают и насколько хорошо их можно улучшить.
Д.П.: Вы описали процесс, в котором оценщики оценивают различные сайты и их позиции по определенным критериям. Имеют ли эти данные отношение к ранжированию рекламных объявлений PPC и ставкам в AdWords?
С.Х.: Мы не используем эти данные напрямую, мы только собираем их таким образом. Оценки качества ранжирования сайта, которые мы собираем, никогда напрямую не влияют на результаты поиска. Мы никогда не допустим ситуации: «Ах, мы узнали от оценщика, что этот результат поиска не так хорош, так что давайте поставим сайты в другом порядке». Делать что либо подобное, будет асимметрией к расчетам «из малого в большое». Таким образом, мы ничего не затрагиваем.
Д.П.: Давайте немного отступим. Как начинался этот проект? Кто его придумал? Каковы его корни?
С.Х.: С ранних дней Google была заинтересована в оценке того, насколько хорошо работают алгоритмы поиска. Я еще не работал тогда в Google, но насколько я понимаю, возвращаясь к любимым 10 запросам Сергея (Сергей Брин), люди должны были внести такие изменения в алгоритм ранжирования, чтобы это работало. Очевидно, когда на Google вырос трафик, стал необходим более широкий набор запросов, и было осознание того, что необходимо делать оценки в разных странах, очень хорошо понимая их культуру. Нам нужна была команда, которая могла бы провести оценку результатов поиска с точки зрения пользователей.
Автор: John Paczkowski
