Веб-страница полностью удовлетворяет намерению пользователя и заслуживает оценки «Идеально», поэтому должна появляться в топе выдачи. На другом конце шкалы спамерские страницы, которые практически бесполезны для пользователя – они получают оценку «Плохо». Примерно такие инструкции получают асессоры в проекте Bing Human Relevance System (HRS). Вообще асессорами оценщиков выдачи чаще называют в Google, Bing же использует термин «судьи».

Вложение 5536

Редакция Search Engine Land недавно получила от бывшего «судьи» Bing инструкцию на 52 страницах, после чего представители поисковика признали, что данный документ является действующей инструкцией для асессоров, датированной 15 марта 2012.

Проект HRS похож на аналогичную систему «ручной» оценки качества поиска, существующую в Google. Версия руководства для сотрудников Microsoft появилась в конце 2004 года, почти сразу после того как поиск MSN начал работать на собственном движке. Как и Google, Microsoft обращается к услугам сторонних компаний (например, Lionbridge), которые нанимают и тестируют для них будущих асессоров.

Полная шкала оценок страниц в версии Bing состоит из пяти уровней.

Мы уже называли первую – это «идеальное» соответствие страницы наиболее возможному намерению пользователя в данном запросе. «Идеальная» страница должна удовлетворять намерению, по крайней мере, половины пользователей.

Вторая оценка – «отлично» относится к ситуациям, когда целевая страница «хорошо удовлетворяет весьма вероятному намерению» пользователя и «соответствует требованиям релевантности запросу, свежести, авторитетности, рынка и языка запроса»). «Отличная» страница должна удовлетворять намерению, по крайней мере, 25% пользователей.

Оценку «Хорошо» получает страница, которая «умеренно удовлетворяет вполне возможному намерению пользователя» и правильно отвечает на запрос хотя бы 10% юзеров.

«Удовлетворительно» - такую оценку получают страницы, которые могут быть полезны только некоторым пользователям.
«Плохими» Bing считает страницы, которые не удовлетворяют намерению пользователя, используют спамерские технологии или «предоставляют контент с других сайтов». К этой же категории относятся «припаркованные» домены и страницы с вредоносными программами.

Отдельно от этой шкалы в документе описаны такие характеристики страниц как «Вредные» (частично это относится к страницам с контентом для взрослых) и «Невозможно оценить» (для страниц, которые невозможно изучить по различным причинам).