Что такое "бюджет индексации" и как Google работает с ним

Специалист Google Гэри Илш опубликовал небольшую справку по тонкостям бюджета индексации (или краулинга) и о его влиянии на скорость анализа сайтов. Он пояснил, что влияет на активность роботов, и как вебмастер может оптимизировать процесс.


Илш сразу уточнил, что беспокоиться о бюджете следует лишь сайтам-гигантам. Мелкие ресурсы легко умещаются в некий стандартный объем запросов.

Если сайт насчитывает огромное количество страниц, или генерирует их на ходу, бюджет необходим во избежание излишней нагрузки на сервера. Функция ограничения скорости сканирования служит той же цели.

Google имеет некоторый спрос на каждый сайт, в зависимости от популярности его страниц и актуальности данных в индексе. Бюджет же определяется количеством адресов, которые Google просканирует за эти 24 часа, и высчитывается в зависимости от настроек скорости сканирования и спроса.

Потерять бюджет индексации сайт может из-за:

• фасетной навигации и злоупотребления идентификаторами сессий;
• дублированного контента;
• программных ошибок 404;
• взломанных страниц;
• низкокачественного контента или спама;
• бесконечных URL (например, календарей).

Если роботам Google придется тратить свое время на них, то на основные страницы бюджет может и не остаться, и в индекс данные будут приходить с задержкой. На ранжирование это не влияет, однако пользователи могут не увидеть нового контента некоторое время.

Илш также отметил, что быстрая загрузка страниц говорит роботу о хорошей работе сайта и увеличивает доступный бюджет сканирования. Если же ошибки встречаются чаще обычного, или страницы грузятся по несколько секунд, то робот может оставить сайт в покое и зайти в другой раз. Проследить за качеством сканирования можно в Search Console, в отчете "Ошибки сканирования".

В бюджет индексации входят все URL с домена, без исключений. Альтернативные URL, контент, AMP - все уходит в сканер, даже цепочки редиректов. Исключение составляют ссылки, скрытые за какими-либо триггерами. Google не распознает директиву crawl-delay, она бесполезна при продвижении в этом поисковике.

Стоит отметить, что nofollow учитывается только в паре с конкретной ссылкой. Например, если переход с одной страницы был закрыт nofollow, а с другой страницы - нет, то страница все равно попадет к роботам.