Поюзав в гугле выдачу моего блога, оказалось, что он индексирует зачем-то файлы некоторых плагинов, и еще некоторые другие страницы, хотя они запрещены в robots. При этом в выдаче описание не отображается как раз из-за этого запрета. Но зачем он тогда вообще в выдачу пихает эти страницы? Это ведь негативно сказывается на позициях блога, не так ли?
И второй вопрос: как в вордпрессе можно дать любой странице 404 ошибку? Есть так же пара страниц, на которых хотелось бы видеть 404 ошибку, дабы они вылетели из выдачи. Как это можно сделать?
Возможно проиндексировалось до того как вы дописали robots
---------- Сообщение добавлено 12:13 ---------- Предыдущее 12:08 ----------
Сообщение от Олег Нынюк
EvilGomel, Только закрыть от индексации.
Возможно проиндексировалось до того как вы дописали robots
Еще есть дебильный вариант, редирект на 404 страницу через htaccess (обычно такое делаю когда нужно быстро выбросить страницу с индекса, но такое решение крайне неправильно)
ну или по возможности прописать в нужных файлах
<?php header($_SERVER['SERVER_PROTOCOL'] . ' 404 Not Found'); include_once("404.php"); exit; ?>