[nn165m]

Как заставить гугл скачать новый robots.txt?
как то так:)

[martikus]

Да вроде как он автоматически берется по адресу site.ru/robots.txt. Надо ждать обновления просто.

[3s777]

Ждать переиндексации сайта, зайдет робот и схавает новый роботс

[nn165m]

ну у Яши же есть возможность скачать новый файл, вроде как если это делать и проверять он сразу новое хавает или я путаю что-то?

[3s777]

не важно когда он схавает новый роботс важно когда он начнет применять новые инструкции из него, а это произойдет только тогда когда робот придет переиндексировать сайт

[nn165m]

это все понятно про это я и не спрашивал:)
смысл в том что программист на косячил перелив с тестового сайта файлы а там площадка закрыта от индекса полностью, гугл успел схавать роботс который закрывает сайт от индекса, изменения в силу еще не вступили, собственно и не хочетцо чтоб вступали)

[3s777]

При каждом попадании на сайт робот ПС в первую очередь смотрит роботс ткст, смотрит что разрешено для индексации, поэтому при следующем заходе оно увидит новый роботс и будет действовать согласно новым инструкциям.

[spsayapin]

nn165m,он скушает его при обходе сайта. Первым дело роботы всегда обращаются к роботсу. Это начало их пути. Как у тебя с утра с кровати вставать и прямиком в туалет)))

[nn165m]

1) при обходе сайта гугл роботс новый не скушал зато добавил 5 страниц
2) после отправки на переиндексацию главной страниц и всех связанных роботс обновился в течение 5 мин:)