[romer]

Смотрю статистику, и вижу переходы на страницу site.ru/component/virtuemart/category/tovar - которая закрыта в роботс.тхт и с сайта на нее нет ни одной ссылки, из меню сайта ИМ изъят. Я ж думаю Disallow: /components/ в файле robots.txt достаточно для того, чтоб все что в ветке /components/ и после было вне индекса? Да, помню версию, о том, что гугл индексирует запрещенные к индексу элементы, но речь идет про яндекс, и эта якобы неиндексируемая страница по конкурентному запросу нашлась в топ10.
Как закрыть ИМ от индексации, при этом весь остальной контент оставить в индексе?

[pyramida]

romer, у яшки есть сервис проверки роботс. Воспользуйтесь.

[Talismanchik]

site.ru/component/virtuemart/category/tovar

Disallow: /components/

Это ошибка здесь, в robots.txt такой ошибки нет?
Как давно была закрыта страница? Возможно, она была проиндексирована до запрета. Пока до Яндекса дойдет...
Желательно показать весь robots.txt, вдруг есть какие-то ошибки.
Так же можно проверить через форму http://webmaster.yandex.ru/robots.xml

[MacLeo]

Talismanchik, если раздел только закрыли, а в индексе гугла он уже был то удалять нужно вручную через гугловскую панель вебмастера.

[Talismanchik]

Talismanchik, если раздел только закрыли, а в индексе гугла он уже был то удалять нужно вручную через гугловскую панель вебмастера.

Речь идет про Яндекс.
И честно говоря, я не понял этого ответа-совета. Это к тому было сказано, что если страница была проиндексирована, а потом закрыта в robots.txt, то Гугл не будет смотреть на запрет, а будет продолжать индексировать эти страницы?
Как понял, удалить нужно будет через эту форму: https://www.google.com/webmasters/to...ШСАЙТ.ru/ При нажатии на ссылку, необходимо, чтобы была регистрация в Гугл веб-мастер и чтобы там находился нужный сайт. И урл подправлять надо будет, изменяя на свой сайт.

[romer]

Это ошибка здесь, в robots.txt такой ошибки нет?

Да, в роботс закрыта только /components/ а /component/ не закрыта! Спасибо.

---------- Сообщение добавлено 09:22 ---------- Предыдущее 09:19 ----------

Talismanchik, если раздел только закрыли, а в индексе гугла он уже был то удалять нужно вручную через гугловскую панель вебмастера.

Нет, в индексе еще небыли страницы ИМ, хотел их не индексировать пока не наполню. Удивился ж тому, что они вдруг в индексе.

---------- Сообщение добавлено 09:26 ---------- Предыдущее 09:22 ----------

Так, хотя, что я тут выдумываю, если в яндексе есть то и гугле подавно...недоглядел...

[MacLeo]

Да, в роботс закрыта только /components/ а /component/ не закрыта! Спасибо.

ну вот собственно вопрос и решился, но с панели вебмастера удалить надо

И честно говоря, я не понял этого ответа-совета. Это к тому было сказано, что если страница была проиндексирована, а потом закрыта в robots.txt, то Гугл не будет смотреть на запрет, а будет продолжать индексировать эти страницы?

Да, такое было и неоднократно.

[Unlor]

К слову, у Яндекса тоже есть похожий инструмент http://webmaster.yandex.ua/delurl.xml - в свое время удалял им из индекса страницы. Вопрос-то решен, но это может и помочь ускорить процесс.

[pyramida]

будет продолжать индексировать эти страницы?

не будет индексировать потому, что она уже проиндексированна.

[Tis]

Вопрос хоть и решился. Добавлю по своему опыту, что Яндекс из индекса закрытые разделы удаляет не меньше недели. Какие-то ссылки могут уйти дня через два, но полностью очистится не сразу.
Хотя, возможно, все зависит от того, как часто робот сайт посещать приучен.