[Далер]

Видел много случаев когда страница запрещена в robots.txt , но есть в индексе. Как загнать?

[genjnat]

В большинстве случаев, это страницы попавшие в индекс еще до появления директивы, или бот нашел страницу раньше чем robots.txt.
Ну а если ПСы уже усвоили рототс, то никак. Ну или нормальным путем – Allow: /запрещенная-страница

[patrician]

Гугль бот иногда игнорирует роботс, они рекомендуют страницу писать через мета, алаев даже статьи расписывал на эту тему.
С яндексом не встречал такого, не могу сказать точно.

[wolf28]

patrician, вот про гугл что-то я не уверен;
закидывал запрет на страницы пагинации нового сайта через мета-теги - таки торчат почему то в индексе, думаю теперь в роботс засунуть...

[genjnat]

Удалите через ГВМ, через день исчезнут

[KipiaSoft]

Как загнать?

сослаться на нее с другого сайта ( закладки, блоги и т.п)