Robots.txt в Вордпрессе

[Bodryj]

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Sitemap: http://vladimirseo.ru/sitemap.xml
Crawl-delay: 5

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Sitemap: http://vladimirseo.ru/sitemap.xml
Host: vladimirseo.ru
Crawl-delay: 6

у меня так, пока медленный сервак

[Bodryj]

Кстати, для справки: Google на Crawl-Delay cheker ругается фразой «Syntax not understood», как впрочем и на директиву Host для Яндекса.

И как лучше сделать?

[NRubleva]

Ребят подскажите как правильно составить robots.txt для wordpress

вот мой пример

Код:

Код:

User-agent: *
Disallow: /page*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /*/feed/
Disallow: /feed/rss/
Disallow: /feed/atom/
Disallow: /?feed=
Disallow: /comments*
Disallow: *trackback*
Disallow: *comments*

Может еще чего добавить надо ? Тэги рубрики и архивы закрываю плагином, вот еще вопрос надо в конце писать Host: название сайта?

У меня почти такой же роботс, только не всё закрыто. Нужно будет добавить.
А каким плагином закрываешь теги, рубрики?
Host: никогда не пишу.

[SanchezBoy]

При составление robots.txt чаще всего смотрю у других сайтов и по аналогии составляю и свой.

[levko]

господа специалисты,что скажите на счёт такого robots.txt?

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/*
Disallow: /wp-trackback
Host: xn----htbkcgpeeecd.xn--p1ai

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/*
Disallow: /wp-trackback
Sitemap: http://xn----htbkcgpeeecd.xn--p1ai/sitemap.xml.gz
Sitemap: http://xn----htbkcgpeeecd.xn--p1ai/sitemap.xml

[Routa]

levko, фиды и страницы комментариев закрывать надо

Код:

Disallow: /feed
Disallow: /comments
Disallow: */feed
Disallow: */comments

[levko]

Routa,
вот про фиды вопрос возник:кто-то закрывает,кто-то нет?где правильное решение?
комментарии типа первонах,класс и прочие фразы в комментариях отсутствуют.спама там точно нет.
не отпугнёт ли закрытие комментариев самих комментаторов?

[Routa]

levko, в вордпрессе, если нажать на дату конкретного комментария, урл страницы станет вида урл-страницы/comment-..., т.е. полный дубль(тем более, если всего одна страница с комментариями).
Фид поста тоже является дублем(а лично у меня, просто пустая страница только с заголовком поста). Вот у меня на сайте на wp, загружено роботом 1200страниц, из которых 800 запрещено в роботс(почти все из них - страницы фидов)

[levko]

ок,а стоит ли закрывать тэги:
Disallow: /tag/
или можно оставить как есть?

так же интересует вот такая строка:
Disallow: /xmlrpc.php

нужно ли?

[kiberblog]

у меня вот такой робот:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=

читал по этой теме на форумах и в блогах, но единого мнения так и нашел. Может быть в этой теме примем компромисное решение и создадим эталон, то есть универсальный роботс под Вордпресс? ))