Обычно, все ищут способы ускорения индексации. У меня немножко необычный вопрос. Ситуация такая: яндекс проиндексировал мусорный раздел, который я не прикрыл в robots когда вышла новая версия сайта. Сегодня с апдейтом все позиции рухнули. раздел я в роботс запретил.
Вопрос №1: Возможно ли как-нибудь ускорить процесс ухода из индекса страниц, запрещенных в robots.txt? К примеру, если их по твитеру прогнать, возможно, робот их посетит, увидет, что они запрещены, и исключит. Или есть ли вообще методы?
Вопрос №2: Как вы считаете, восстановятся ли позиции после ухода этих страниц из индекса, и как быстро?
Последний раз редактировалось Левша; 29.12.2012 в 14:33.
ничего тут необычного нету, у многих в выдаче появляется мусор и все хотят от него избавиться,
Сообщение от Arc-Slogger
Возможно ли как-нибудь ускорить процесс ухода из индекса страниц, запрещенных в robots.txt?
можно написать платону, но только смысла я не вижу, насколько я помню в вебмастере можно удалять страницы, но смысла особого не вижу....постепенно всё уйдёт если роботс правильно составили
Возможно ли как-нибудь ускорить процесс ухода из индекса страниц, запрещенных в robots.txt? К примеру, если их по тви прогнать, возможно, робот их посетит, увидет, что они запрещены, и исключит. Или есть ли вообще методы?
Если хотите, чтобы через 1-2 апа их уже не было, то удалите вручную через Яндекс.Вебмастер. Иначе, они могут долго ещё жить в индексе. А ещё лучше запретить этот раздел в мета тегах (noindex, nofollow) - на это поисковые системы реагируют лучше, чем на robots.txt
Сообщение от Arc-Slogger
Вопрос №2: Как вы считаете, восстановятся ли позиции после ухода этих страниц из индекса, и как быстро?
Думаю, что на этот вопрос никто Вам не сможет ответить.
Не хочу плодить тем, ТС вроде доступно разжевали, что и как делать.
В связи с этим тоже вопрос по Яндексу.
Судя по ЯВ сайт прекрасно индексируется, sitemap регулярно проверяется, сайт всегда доступен, в роботс ничего лишнего. Написал простенькую функцию, вызывается при переходе на статью - проверяет кто на сайте бот или не бот, если это яндекс или гугл складываем подробную информацию в бд. Так вот, новая статья только появится, практически сразу же бот гугла на нее приходит. А бот яндекса уже две недели новые статьи не посещал. В чем проблема? Куда смотреть?
Каждый день, примерно в одно и тоже время на сайте публикуется новый материал. Бот гугла приходит, а яндекс не спешит, хотя все для этого есть: карта сайта, рсс лента, прикрутил пингатор (правда перестал им пользоваться). Только что проверил, гугл даже новый дизайн и внутренние усовершенствования проиндексировал. Видимо, придется писать Платону.