[DarayanRain]

Всем привет. На новом сайте в выдачу попали комментарии, которые не должны были индексироваться. Вот роботс

robots.txt

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /popular
Disallow: /profile-edit
Disallow: /viewed
Disallow: /contact
Disallow: /tag/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /popular
Disallow: /profile-edit
Disallow: /viewed
Disallow: /contact
Disallow: /tag/
Host: mysite.com

Sitemap: _http://mysite.com/sitemap.xml
Sitemap: _http://mysite.com/sitemap.xml.gz

[свернуть]

Также стоит виджет последних комментариев, из него тоже, те же самые комментарии в выдаче. Дублей в поиске с одного коммента немереное количество. Как их можно полностью от индексации закрыть, вместе с виджетом? Спасибо.

[NightHawk]

Находите в коде где выводятся комментарии и пишите <!--noindex--> и в конце кода <!--/noindex-->, с модулем та же схема. Через robots закрывается только что, что содержится в url.

Может не совсем понял, какие дубли у вас проиндексировались, поэтому скидывайте часть url поможем прописать в robots правильно.

[doctordick]

Все, что Вы видите в исходнике страницы - видит и бот от ПС. noindex совсем не панацея для Гоши.
В Вашем случае может помочь такой вариант: выдавать комментарии только зарегистрированным (авторизованным) пользователям, соответственно для ботов от ПС комментарии останутся недоступными.

[DarayanRain]

doctordick, такой вариант может и хороший, но не подходит. Раньше вот этим как-то обходилось (Disallow: /comments), теперь видимо недостаточно

[doctordick]

doctordick, такой вариант может и хороший, но не подходит. Раньше вот этим как-то обходилось (Disallow: /comments), теперь видимо недостаточно

Нет, ну Вы сами подумайте, что значит Disallow: /comments
Не брать в индекс URI начинающиеся с /comments, а теперь вопрос, если у Вас обычный пост /post1.html и в нем есть комментарии, что сделает ПС?