[kabban]

Где-то пару месяцев назад Яндекс проиндексировал стр. feed ов которые генерит Joomla ( пример http://soft-4-free.ru/emailclients.feed?type=rss ).
Раньше уже такое было, но потом они пропадали из индекса и я не парился.
Но сегодня смотрю а feed стр. все попадают и попадают в индекс.
Вот я и думаю оставлять их или все же закрывать от индекса?

[Phonteq]

Скрывай от индекса фид...и вообще вот на мой взгляд самый правильный robots.txt

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=



Sitemap и Host убрал

---------- Сообщение добавлено 06:27 ---------- Предыдущее 06:25 ----------

Атата.....это для wordpress, для джумла должны папки по-другому называться.....но кое-что такое как
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

можно взять

[kabban]

А скрывать т.к. позиции просядут?

[Phonteq]

Советую эту статью прочитать
http://sidash.ru/idealnyy-robots-txt/

[kabban]

Phonteq, эээ ну вообщето она не отвечает на мой вопрос, суть то в чем в RSS только вступление же с правильными ссылками на контент, значит в принципе это не дубль , но влияет ли это както отрицательно?

[r0b0t]

Лишние страницы на сайте, в том числе и /feed/ в индексе запутывают поисковик при определении какую страницу показывать пользователю , порождая дубли. Закрывайте лучше их тегами запрета индексации (noindex, rel="nofollow")

[Phonteq]

kabban, там где-то написанно было что к дублю яндекс более строго относится нежели гугл, если разницы нету для вас что будет в выдачи фид или сама страница, то и не парьтесь по этому поводу, но всё равно лучше чтоб всё по уму было

[MacLeo]

Можно ведь просто употреблять rel="canonical" что бы показать ПС каким страницам отдавать приоритет. И не придется закрывать feed..

[kabban]

rel="canonical"

А как его в feed встроить?

[tolev]

согласен с Phonteq фиды лучше скрыть от Яши сразу в роботсе, на кой эти дубли. Яша итак капризный до нельзя его еще путать точно не стоит.