[Jeth]

Собственно, вопрос в названии темы. Как часто это происходит? Дело в том, что поставил в robots Disallow: /, а страницы в соплях до сих пор растут, тогда как в основной выдачи осталось 6. Яндекс еще недели две назад оставил в индексе лишь главную, а Googl уже месяц подымает страницы в соплях в количестве. Уже лишнюю тысячу перешел, а мне ведь надо очистить количество и в соплях, и в основной выдаче.

[Weman]

Jeth, попробуй в www.google.com/webmasters в разделе "Сканирование/ Посмотреть как Googlebot" добавить свои ненужные страницы и посмотри какой ответ от него получишь... По идеи должен ответить что-то типа "Запрещено в robots.txt".. если не так, значит есть какая-то проблема.

Можешь также самостоятельно удалить страницы сайта из Гугла. Для этого также в www.google.com/webmasters зайди в "Индекс Google/ Удалить URL-адреса" и добавь туда страницы для удаления.

[Jeth]

Weman, Вебмастер показывает недоступность сайта через robots, но количество соплей уже превысило 1000 страниц после месяца закрытия robots и ресурса вообще. Ответ на Googlebot тоже ссылается на закрытость robots. Это все нормально, не нормально, что сопли растут. :)

[pyramida]

Jeth, файл роботс(для гугла) управляет только сканированием, а не индексированием. Вы что вообще хотите? Удалить весь сайт из гугла?

[Jeth]

pyramida, robots ведь отвечает за открытость/закрытость сайта. Следственно, закрыв его, после индекса страницы должны через некоторое время выпадать.

Хочу полностью очистить количество проиндексированных страниц.

[Scarlett]

Jeth, У Гугла этот процесс весьма долгий и муторный да и в новостях не раз писали, что Google игнорирует Robots. Txt и частенько выкидывает в выдачу закрытые для индексации страницы.

Я, например ещё в октябре закрыл категории своего сайта в роботсе, а он до сих пор их показывает в выдаче. Яндекс же за 1-2 недели выплюнул.

Ещё посмотрите карту сайта, ссылки оттуда индексируются на 100%, поэтому оттуда тоже надо выпиливать все "нежелательные" страницы

[mojwp]

Jeth, ставьте страницы не нужные с meta noindex. Одновременно откройте их в роботс.
Какая CMS?

[supergap]

У Гугла этот процесс весьма долгий и муторный да и в новостях не раз писали, что Google игнорирует Robots. Txt и частенько выкидывает в выдачу закрытые для индексации страницы.

Одна из проблем Google... хоть они и в "соплях"

[pyramida]

Jeth, у гугла индекс слишком большой. Вот и разделили полномочия. Роботс только сканированием управляет. Читайте. Можете через удаление урл попробовать. Но через 90 дней, удаленые страницы снова могут попасть в индекс. Про удаление

[Jeth]

Ну наконец-то! 5,5 тысяч проиндексированных ссылок как топором с выдачи снялось. Остались лишь главные в обоих ПС.

Все, тему можно лочить.