Джон Мюллер, специалист Google по качеству поиска, рассказал вебмастерам, что роботы Google способны обработать страницу объемом до 200 Мб. Ранее о лимите говорили лишь в 2015 году, когда его подняли до 10 Мб. С тех пор поисковик переосмыслил ограничение и сделал его виртуально недостижимым для стандартных сайтов.

Мюллер затруднился назвать точный объем данных, который забирают роботы, ограничившись расплывчатым "пара сотен". Если каким-то образом страница потребляет больше трафика при загрузке, роботы могут не захватить контент из нижней части.

Ответ прозвучал на 45:38 видеозаписи:

В январе Гэри Илш, также работающий в Google и являющийся первым лицом компании на конференциях, опубликовал статью о бюджете краулинга. В нём специалист пояснил значение основных терминов, разобрал, что именно потребляет краулинговый бюджет, а также причины замедленного сканирования и технологии увеличения его скорости.