[3s777]

Вообще гугл момет закинуть в индекс то, что закрыто в роботс

Сталкивался с этим не один раз. Для одного сайта гугл полностью соблюдает инструкцию в роботсе, для другого в некоторых случаях игнорирует и в индекс попадает лишнее. Но заметил, что со временем, гугл все равно исключает эти страницы, но должно пройти около месяца.

[AlexDV]

Робот ест все, это даказано уже всем известными случаями с Мегафоном и прочее, просто контент не входит в индекс. А по части сайта, совпадение, наверно.

[pyramida]

для другого в некоторых случаях игнорирует и в индекс попадает лишнее.

он может гдето ссылки надыбать на страницы.

---------- Сообщение добавлено 19:48 ---------- Предыдущее 19:47 ----------

Робот ест все,

надо же проверять, а не закрыли ли какуюто гадость чтоб он не видел, а пользователю отдавалось :)

[3s777]

он может гдето ссылки надыбать на страницы

бывают страницы на которые точно ссылок нет. Просто работает он так. Сначала загружает в себя все что есть, а потом на основе роботса удаляет что ему запрещено, и порой этот процесс у него может занимать несколько месяцев.

[pyramida]

бывают страницы на которые точно ссылок нет.

даже внутренних? С ввв и без? :)

а потом на основе роботса удаляет

тут Вы не в теме точно. Проверте по логам. Бот сначала кушает роботс если он есть, а потом начинает сканировать. Роботс управляет только сканирование (у гугла).