[SergeyNetIt]

На многих ресурсах читал про создание файла robots.txt. Создал и для своего сайта. Посмотрите пожалуйста, правильно я его сделал. Вот файл:
User-agent:*
Dissallow:/cgi-bin
Dissalow:/wp-admin
Dissalow:/wp-includes
Dissalow:/wp-content/plugins
Dissalow:/wp-content/cache
Dissalow:/wp-content/themes
Dissalow:/trackback
Dissalow:*/trackback
Dissalow:*/*/trackback
Dissalow:*/*/feed/*/
Dissalow:*/feed
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Host:SoftGildia.com
Sitemap:SoftGildia.com/sitemap.xml
Я на своем сайте использую древовидные комментарии, а они создают дубли страниц. Как избавится от этого?

[Левша]

Вот посмотрите пример: http://up-74.ru/robots.txt дополнительно закрыты категории, страничка автора

[KipiaSoft]

я бы еще добавил:
запрет индексации архивов по датам (если есть записи и по другим годам добавляем аналогичную строчку с нужным годом)
Dissalow: */2014/*

Запрет индексации тегов:
Dissalow: */tag/*

Запрет индексации архивов по авторам:
Disallow: /autor/*

Запрет индексации категорий:
Disallow: /category/*

Запрет индексации комментариев
Disallow: */comments

Запрет индексации страниц сгенерированных поиском по сайту _тут нужно смотреть индивидуально по каждому сайту, у меня страницы с поиском выглядели примерно так)
Disallow: /*?*
Disallow: /*?
Disallow: /?*

[SergeyNetIt]

KipiaSoft,А посмотрите на мой _http://fr3809bb.bget.ru/. А мне категорию закрывать не нужно. Если я ее запрещу, тогда не будет видно http://fr3809bb.bget.ru/category/prosmotrshiki/ то, что находится здесь. Список новостей. Или это не играет роли. Сами новости будут все равно проиндесированы. Просто не будут индексироваться сама страничка содержащая в себе список опубликованных в ней новостей http://joxi.ru/igT2Uv3JTJCXeWG0XAQ Так ли это?

[KipiaSoft]

Если я ее запрещу, тогда не будет видно _http://fr3809bb.bget.ru/category/prosmotrshiki/ то, что находится здесь. Список новостей.

Создайте карту сайта, и будет видно все

Просто не будут индексироваться сама страничка содержащая в себе список опубликованных в ней новостей

А зачем ее индексировать? Ее уникальность нулевая. А для того что бы индексировался список всех новостей - для таких целей создается карта сайта.

Кстати, в в файл robots.txt еще добавляю строчку для запрета страничек постраничной навигации:
Dissalow: */page/*

[Vooda2012]

Чтобы не открывать новую тему спрошу здесь.
Есть 2 урла
сайт.ру/блабла/
и
сайт.ру/блабла/play/

Контент на них частично дублируется, поэтому естественно хочу закрыть одну страницу от индексации, а именно страницу сайт.ру/блабла/play/

Прописал в robots
Disallow: /play/
но при проверке урла "сайт.ру/блабла/play/" в ЯВМ пишет, что он доступен для индексации? Что я сделал не так?
И еще. Многие говорят, что гуглу часто пофиг на запреты в роботсе. Как средствами Wordpress можно прописать мета-тег noindex на всех страницах, урл которых заканчивается на /play/ ?

[KipiaSoft]

Что я сделал не так?

звездочку забыл поставить:
Disallow: */play/

play после слеша без звездочку подразумевается что play идет сразу после названия домена. Звездочка подразумевает что между play и названием домена есть еще какие то буковки

[Vooda2012]

Большое спасибо.
А по второму вопросу не подскажете? "Как средствами Wordpress можно прописать мета-тег noindex на всех страницах, урл которых заканчивается на /play/ ?"

[KipiaSoft]

Как средствами Wordpress можно прописать мета-тег noindex на всех страницах, урл которых заканчивается на /play/

Если /play/ это категория, подкатегория или метка, то поставить noindex можно с помощью плагина All in One SEO Pack. Там галочку поставить нужно напротив соответствующего пункта настроек

[nemetc]

Сначала и сам использовал длиннющий robots.txt пока не прочитал статью от Алаева в его блоге _http://alaev.info/blog/post/4143, применяю его метод и плагин All in One SEO Pack, пока хватает