[Evily]

Вордпресс. в мае все настроил, закрыл от индексации все что ненужно. с мая по август все ок, индексируются только статьи. с августа по сентябрь откладываю сайт, изредка поглядывая на трафик (растет и хорошо).
в ноябре возвращаюсь к сайту и вижу что в индекс с сентября начинает залетать мусор в виде дублей страниц - page1, page2 и т.д. теги, хотя я их закрыл и до сентября все было ок.

Вопрос: что я пропустил и что делать?) за то время пока сайт отлеживался индексированных страниц удвоилось(

[VulkanPartner]

Evily, покажите ваш robots.txt хотя бы для начала ) Может, все-таки не до конца закрыли? И что в Яндекс.Вебмастер, есть какие-то советы/сообщения по поводу страниц, роботс?

[Kirov56]

Покажите свой robots так сложно сказать. Или просто пришлите свой домен, посмотрим что и как с ним. Обычно Яндекс не индексирует всякую шляпу, поэтому тут сожно что либо сказать... Кстати у вп есть такой плагин - называется all seo pack так вот он позволяет принудительно закрывать что не надо... Разумеется, я сразу все прописывают в роботсе, что бы не было потом головняка...

[VtopSearch]

Ранее такое замечалось за Google, объяснялось это тем что robots.txt для ПС носит рекомендательный характер, и кстати Яндекс ранее в блоге писал, что если на данные страницы есть внешние ссылки, возможно их появление в поиске. В своё время более эффективно работали мета-теги robots, но вот насчёт плагина для WP управляющего ими не знаю.

[igolkin]

Любая публичная страница доступна поисковику для индексации. Это уж его дело, обращать внимание на robots.txt или нет и в какой степени.
Дубли в индексе одна из тёмных сторон популярного и изведанного вдоль и поперёк вордпресса.

[AlexSok]

а с гуглом эта проблема как-нибудь решается? роботс вроде настроен, но очень много дублей в поиске (страницы сортировки и пр.)
сайт: shop.skverteks.ru
движок: uralcms

[gosware]

У Вордпресс есть беда с роботсом. Страницы WP будут плавать в выдаче Я/G с коэффициентом до 0.1
Почти все имеющиеся в паблике готовые решения по роботсу желаемого результата не дадут. Нужна более тонкая настройка самого движка WP (работа с эффективными плагинами) и файла роботс.
Решением для снятия дублей с выдачи:
- в Яше удалять через панель Вебмастера (+ закрывать в роботсе на 404 ошибку)
- делать страницы-дубли каноническими
- закрывать на индекс категории, навигацию и др.

[Norder]

AlexSok, так у вас и не закрыто это всё. Добавьте хотя бы Disallow: *?page* если не хотите чтобы пагинация была открыта и Disallow: *?current_cat* для сортировки. Подробнее могу вечером глянуть, если напомните

[Omura]

Вариантов robots.txt в интернете множество. Надо увидеть как именно вы закрыли. чтоб что-то заявлять.

[Norder]

Omura, так сайт указали уже выше