[PeterStolypin]

1,5 месяца назад вирус нагенерил тонны спамерских страниц типа таких

/mr-juve-miscate-asa.htm

Закрыл их еще тода через роботс

Код:

Disallow: /*.htm$

Но они практически не вылетают из индекса и их сейчас около 3000.

Попробовал для теста 1к ссылок таких закинул в индексгатор, чтобы робот на них зашел, увидел, что страницы закрыты в роботсе и ушел. Но гугл на это прислал сообщение о том, что сайт взломан и привел в пример несколько урлов из тех, что я кинул в индексгатор. Видимо подумал он, что это спам-атака. Страницы не повылетали, ошибок 404 в панеле прибавилось.

Как посоветуете удалять это все для яндекса и гугла массово?

[pyramida]

Для гугла
Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
только так.

[kreg22]

Мне в сентябре сайт ломали, залили дор на 15к страниц. Все это дело попало в индекс. Удалил страницы и больше ничего не делал.

1.Гугл где-то через 3 месяца выплюнул их из индекса

2. В яндекс вебмастере до сих пор показывается 4к страниц, хотя прошло уже 7 месяцев!

[zhurik]

Есть функция "удалить урл" в кабинетах вебмастеров Яндекс и Гугл. Массово можно удалить софтом Comparser, но он платный.

[Rush Agency]

Через функцию удалить url в Google Webmaster Tools можно удалить только 500 страниц. В Яндекс.Вебмастере такой функции нет.

Страницы надо удалить физически, оставлять на сайте и мета-тег noindex нет смысла прописывать, так как это расходует краулинговый бюджет сайта.

Полезно прописать в robots.txt , что вы и сделали, через время страницы выпадут из поисковых систем.

Нужно обратить внимание на 404 ошибки в Google Webmaster Tools, возможно ссылки на мусорные страницы остались где-то на полезных страницах сайта.

[zhurik]

В Яндекс.Вебмастере такой функции нет

https://webmaster.yandex.ru/delurl.xml
но пачкой как в гугле не удалить, только если автоматизировать.

мета-тег noindex нет смысла прописывать, так как это расходует краулинговый бюджет сайта.

если дописать в мета тег nofollow, то не будет расходовать. Но вообще вы правы - лучше физически удалить и закрыть от индексирования.

[prihod]

лучше 301-м редиректом слить все страницы на одну, и ее заблочить в роботс.
с индекса быстрей по вываливаются.