Robots.txt в Вордпрессе

[funrichy]

Кстати, для справки: Google на Crawl-Delay cheker ругается фразой «Syntax not understood», как впрочем и на директиву Host для Яндекса.

[Iceman]

Вообще придерживаюсь мнения, чтобы не закрывать ничего. Только в крайних случаях если надо закрыть отдельные страницы. Считаю, что ПСы не такие глупые, чтобы принять контент с одного сайта как плагиат. Так что пусть пашут) Тьфу-тьфу, пока все работает на ура..

[sergden]

RSS-документы не индексирует основной робот, но индексирует робот,
индексирующий блоги. Если Вы закроете страницы, их не сможет проиндексировать
ни один робот Яндекса.
т.е. не стоит закрывать фиды от роботов.

Важная информация, спасибо, тот я думаю почему статьи так долго в яндекс вылазят

[mr. werewolf]

ну про RSS это да... бредово было бы его ставить на Disallow, убрал у себя

[Antojkee]

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /wp-content/uploads

User-agent: Yandex
Host: blogproblog.com
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

[rushter]

PHP код:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments 


У меня так

[sergden]

имхо, еще архив и календарь надо тоже от индексации закрывать - от них толку нет .

Календарь вообще с темплея блога как класс нужно килять :)

[Koerlin]

У меня вот такой. Нашел на просторах блогосферы :)

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Allow-тега там не существует, вроде как :)

[hichnii]

Ну, архив имхо для внутренней перелинковки было бы не плохо оставить или я ошибаюсь?

внутренняя перелинковка через категории идет, зачем дублировать то перелинковку? причем в архивах неуникальный контент что не есть гуд для гугла, я закрываю вот так:

Disallow: /2008/
Disallow: /2009/

[PlayeR]

1. User-agent: *
2. Host: host.ru
3. Sitemap: site
4. Sitemap: site
5. Disallow: /xmlrpc.php
6. Disallow: /wp-
7. Disallow: *tag
8. Disallow: */feed # при дефолтных чпу / меняется на ?
9. Disallow: *paged # при дефолтной навигации
10. Disallow: /page # для установленного wp-pagenavi
11. Disallow: *?s=