[al982]

Вопрос таков.

Есть страницы, которые навсегда будут удалены.

Это прописать в Роботсе, или в яндекс вебмастере и гугл вебмастере ?

Если в роботсе, то как это сделать ?

Как это пишется ? ( Не пинать, не програмист...)

[kuzmi4]

Роботс: http://robotstxt.org.ru/
Яндекс: http://webmaster.yandex.ru/delurl.xml
Гугл: Инструменты для веб-мастеров » Индекс Google » Удалить URL-адреса

[Rememrbance]

а когда кол-во страниц дойдет до нескольких тысяч, вы будете все это прописывать в роботс?
Легче помоему сделать 404 ошибку на эти страницы.

[kuzmi4]

Легче помоему сделать 404 ошибку на эти страницы.

404 Ошибка не удаляет страницу из индекса ПС. Наоборот все стремятся исправить эту ошибку. Т.е. как вариант исключить ее из индексирования. Запретить к индексированию (роботс) + выкинуть ручками в панелях вебмастера.
Потом, файл роботс имеет лимит по объему. Да и нефиг доводить до несколько тысяч.

[xilgiz]

а когда кол-во страниц дойдет до нескольких тысяч, вы будете все это прописывать в роботс?
Легче помоему сделать 404 ошибку на эти страницы.

Тут надо еще смотреть на то, страница посещаемая ли. Если туда идет трафик - то можно 301 редирект лучше

[Rememrbance]

al982, Вам бы почитать faq'и

Google
Чтобы окончательно удалить страницу из результатов поиска Google, выполните следующие действия:
На главной странице Инструментов для веб-мастеров выберите нужный сайт.
В панели инструментов слева нажмите Индекс Google.
Выберите Удалить URL-адреса.
Нажмите Создать запрос на удаление.
Введите URL страницы, которую необходимо удалить из результатов поиска (не URL результатов поиска Google и не URL страницы в кеше Google), а затем нажмите кнопку Продолжить. Подробнее о том, как узнать правильный URL… Обратите внимание, что учитывается регистр: URL должен содержать те же символы и в том же регистре, как и на сайте.
Нажмите Да, удалить эту страницу.
Нажмите кнопку Отправить запрос.

Если страница больше не существует, убедитесь, что сервер возвращает код состояния HTTP 404 (страница не найдена) или 410 (страница удалена). Файлы, формат которых отличен от HTML (например, PDF), должны быть окончательно удалены с сервера.
Если страница все ещё существует, заблокируйте доступ к ней для роботов Google с помощью файла robots.txt. Даже если доступ к URL страницы запрещен в файле robots.txt, Google может внести ее в индекс, обнаружив этот URL на другом сайте. Тем не менее страница не будет проиндексирована, если доступ к ней заблокирован в файле robots.txt и существует активный запрос на ее удаление.

_https://support.google.com/webmasters/answer/1663419?hl=ru

Яндекс
Если вы хотите удалить страницу из результатов поиска, то можно воспользоваться формой «Удалить URL», предварительно убедившись, что страница удалена с самого сайта, либо ее индексирование запрещено.

Тоже самое другими словами 404/410

_http://webmaster.yandex.ua/delurl.xml

[Елена Ильчук]

Если на те страницы, что вы хотите удалить, идёт трафик, то удалять подобные страницы не желательно.

[Rememrbance]

чего вы все за трафик зацепились, вопрос был совсем не про него.

[Елена Ильчук]

Rememrbance, но ответ также зависит и от других факторов.

[Ilich]

Rememrbance, так вроде ж писали, что delulr именно для плохих страниц(например, образовавшихся от взлома сайта и т.п.). Так же писали, что не стоит им пользоваться для большого кол-ва страниц, т.к. всё-равно не удалят. Может я что-то пропустил, т.к. читал про это давненько.

Это уже всем:
Понятно, что мы не знаем, какие страницы у ТСа(плохие или нет). Но если это обычные страницы, которые он хочет удалить, то зачем что-то выдумывать? Зачем закрывать доступ к ней в роботсе? Откуда робот узнает, что она удалена, если не будет иметь к ней доступ? А вот если он придёт и увидит 404-ю ошибку, то другое дело. (Понятно, что не с первого раза удалит, иначе бы при недоступности сайта вылетали все страницы).
Да и вообще, чем вам так помешает удалённая страница, если она провисит два дня в индексе? (Опять же, если это обычная страница, а не, скажем, с вредоносным кодом).