[al982]

Потом, файл роботс имеет лимит по объему. Да и нефиг доводить до несколько тысяч.

Каков лимит?

Rememrbance
Да и вообще, чем вам так помешает удалённая страница, если она провисит два дня в индексе? (Опять же, если это обычная страница, а не, скажем, с вредоносным кодом).

НУ тут все просто, поисковики не любят не существующие стнаницы, а если ее можно закрыть самому, то почему бы этого не сделать - а поисковики будут видеть, что за сайтом следят, ну соответствие рост доверия...Все состоит из мелочей...


Всем большое спасибо за обсуждение, сделаю так: добавлю урлы в вебмастеры и в роботс, а через пару месяцев удалю из роботса, дабы не захломлять сайт (роботс).

[Ilich]

НУ тут все просто, поисковики не любят не существующие стнаницы

Как можно любить/не любить того, чего нету? Если есть пруф, то с радостью бы ознакомился. Может я совсем отстал от новых модных веяний.
А вот любят ли поисковики, что сайты продвигают? Может тогда ну это дурное дело)

И вот никогда не задумывался насчёт ограничения длины роботса. Есть такое? В сайтмэпе точно есть, а про роботс никогда не слышал.

[kuzmi4]

Каков лимит?

32 килобайта

[dexplon]

Имхо, надо выдавать 404 ошибку на страницу которой нет. Это нормально, для этого этот заголовок и существует. А прописывать в robots это бред. Есть сайты web2.0 где сотни пользователей регулярно сами пишут контент, редактируют, удаляют. Тот же форум. Не ужели за каждым таким событием нужно следить и регулярно менять robots ? Да ну, бред.