Google может проверить robots.txt вне расписания

Индексирование файла robots.txt поисковыми роботами Google можно "заказать" самостоятельно, чтобы не ждать автоматического обновления. О такой возможности рассказал Джон Мюллер, специалист Google по качеству поиска.

Как правило, robots.txt опрашивается раз в день или реже, в зависимости от конкретного сайта. Чтобы файл был проверен при следующей индексации, нужно попросить об этом в Search Console при помощи Инструмента проверки файла robots.txt. Там же можно просмотреть версию, имеющуюся у роботов Google сейчас.



В справочном центре можно найти больше информации о возможностях внеочередного обновления robots.txt.