[mr. werewolf]

Ну, архив имхо для внутренней перелинковки было бы не плохо оставить или я ошибаюсь?

[paxter]

Ну это да, это правильно подметил =) Я просто до этого никогда не заморачивался с роботсом, но теперь задумался о том чтобы позакрывать не желаемые страницы от гугла, чисто для безопасности.

Лучше от людей закрой их для безопасности...

[dimok]

Ну, архив имхо для внутренней перелинковки было бы не плохо оставить или я ошибаюсь?

ошибаешься. архивы - они фактически полные дубли основной ленты постов. даже гугловоды рекомндуют их закрывать от индексации.

внутряк лучше мутить через страницы тегов

[Golden]

У меня Роботс эконом-варианта:

Код:

User-agent: *
Disallow: /feed
Disallow: /feed/atom
Disallow: /feed/rss
Disallow: /wp-includes/wlwmanifest.xml
Disallow: /xmlrpc.php?rsd
Host:

[Dr.Gonzo]

А я вообще юзаю вот этот плагин на всех своих вордпрессах http://wordpress.org/extend/plugins/robots-meta/

Он у каждой страницы позволяет отключить фоллов-ноуфоллов, индекс-ноиндекс, и затем вставляет метатэги вида <meta name="robots" content="noindex,follow,noarchive" />

[paxter]

А я вообще юзаю вот этот плагин на всех своих вордпрессах http://wordpress.org/extend/plugins/robots-meta/

Он у каждой страницы позволяет отключить фоллов-ноуфоллов, индекс-ноиндекс, и затем вставляет метатэги вида <meta name="robots" content="noindex,follow,noarchive" />

по-моему легче использовать All in Seo pack, он позволяет вставлять различные метатеги, менять титлы, description, keywords для отдельных страниц.

[Donar]

По RSS потокам и их закрытию приведу ответ из саппорта яндекс-вебмастер
ответ:
RSS-документы не индексирует основной робот, но индексирует робот,
индексирующий блоги. Если Вы закроете страницы, их не сможет проиндексировать
ни один робот Яндекса.
т.е. не стоит закрывать фиды от роботов.

[Drunk Monk]

http://drunkbiz.com/robots.txt

Сайтмап плагин впадло ставить было, а так еще и его надо бы.

[Alex007]

я фиды не закрываю и нормалёк вроде...

[Dr.Gonzo]

по-моему легче использовать All in Seo pack, он позволяет вставлять различные метатеги, менять титлы, description, keywords для отдельных страниц.

Это два разных плагина для разных целей, обычно использую и тот и тот:)

Robots meta позволяет быстро и детально настроить правила для ботов на новом блоге за 3 минуты.