Для проверки эффективности обновлений алгоритмов Google использует реальную выдачу. Для экспериментов выделяется около 1% реальных сайтов, благодаря которым и составляется представление о корректности изменений. Об этой методологии рассказал Джон Мюллер, специалист Google по качеству поиска, в ходе видеоконференции.

Вложение 21027

Мюллер отметил, что проводить испытания на ограниченной искусственной выборке или партнерских сайтах было бы неразумно. Алгоритмы затрагивают все сайты, поэтому проверять их следует на реальных проектах. При таком подходе система ознакомится с большинством возможных проблем еще до релиза, что предотвратит потенциальные отказы в дальнейшем. Жертвуя на тесты всего 1% сайтов, Google получает точные данные об эффективности работы аналитиков и инженеров.

Вопрос и ответ прозвучали с 10:15: