[mr. werewolf]

Ребят подскажите как правильно составить robots.txt для wordpress

вот мой пример

Код:

Код:

User-agent: *
Disallow: /page*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /*/feed/
Disallow: /feed/rss/
Disallow: /feed/atom/
Disallow: /?feed=
Disallow: /comments*
Disallow: *trackback*
Disallow: *comments*

Может еще чего добавить надо ? Тэги рубрики и архивы закрываю плагином, вот еще вопрос надо в конце писать Host: название сайта?

[funrichy]

Host: надо писать и Sitemap тоже

[rebbort]

Зачем запрещаешь индексацию страниц:
Disallow: /page*
и фидов
Disallow: /feed
??
А это
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Можно заменить на
Disallow: /wp-content/*

[Cripl]

Да вот посмотри)
http://mrwerewolf.biz/robots.txt
User-agent: *
Disallow:

[mr. werewolf]

Да вот посмотри)
http://mrwerewolf.biz/robots.txt
User-agent: *
Disallow:

а по теме топика чтото? =)

[panaklla]

да вроде и так нормально карту обязательно конечно

[mr. werewolf]

Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Можно заменить на
Disallow: /wp-content/*

Ну это да, это правильно подметил =) Я просто до этого никогда не заморачивался с роботсом, но теперь задумался о том чтобы позакрывать не желаемые страницы от гугла, чисто для безопасности.

[Cripl]

Тогда можно вообще вот так Disallow: /wp-*

[Dr.Gonzo]

Фиды лучше не закрывать, имхо

[dimok]

имхо, еще архив и календарь надо тоже от индексации закрывать - от них толку нет.