[Darkhoru]

Помогите составить robots.txt для сайта на WP. Дело в том, что при помощи плагина All in One SEO Plugin закрываются рубрики, архивы и теги от индекса. Нужно ли их тоже закрывать в robots? Подскажите код хорошего, грамотного robots.txt для сайта, что бы ПС было легче и быстрее его индексировать. Спасибо.

[Moris_9]

Почитай может поможет http://wp-kama.ru/id_803/pishem-prav...wordpress.html

[Векселл]

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /*/feed
Disallow: /page
Disallow: /comments
Disallow: /tag
Disallow: /archives
Disallow: /2012
Disallow: /category/
Disallow: */trackback
Disallow: /trackback/
Disallow: /*?*
Disallow: /*?
Disallow: */comment-page-*
Host: сайт.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /*/feed
Disallow: /page
Disallow: /comments
Disallow: /tag
Disallow: /archives
Disallow: /2012
Disallow: /category/
Disallow: */trackback
Disallow: /trackback/
Disallow: /*?*
Disallow: /*?
Disallow: */comment-page-*
Sitemap: http://сайт.ru/sitemap.xml

[genjnat]

закрываются рубрики, архивы и теги от индекса. Нужно ли их тоже закрывать в robots?

Да, нужно, если конечно, вы не делаете для каждого тега и рубрики, самастоятельное описание

Подскажите код хорошего, грамотного robots.txt для сайта

Поставьте себе базовый, а потом корректируйте под свои нужды, к примеру у меня, он уже такой
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /page
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /?m=
Disallow: /2010
Disallow: /2009
Disallow: /?paged=
Disallow: /author
Allow: /wp-content/uploads/
Host: ваш-сайт.ru

[dmg.shark]

Помогите составить robots.txt для сайта на WP.

вперед https://www.google.com.ua/#hl=ru&gs_...w=1366&bih=643

Дело в том, что при помощи плагина All in One SEO Plugin закрываются рубрики, архивы и теги от индекса. Нужно ли их тоже закрывать в robots?

Да, нужно.

Подскажите код хорошего, грамотного robots.txt для сайта, что бы ПС было легче и быстрее его индексировать.

Каждый сайт, как и его robots.txt индивидуальный, панацеи нет. Пользуйтесь: http://robotstxt.org.ru/ и http://help.yandex.ru/webmaster/?id=996567

Удачи!

---------- Сообщение добавлено 11:30 ---------- Предыдущее 11:29 ----------

а это для чего?

Allow: /wp-content/uploads/

:)

[Darkhoru]

Спасибо, составил по примеру. Будем ждать) А то очень подозрительно, уже почти неделя прошла, а только 1 страница в индексе.. Даже на ucoz быстрее сайт залетел...

[dmg.shark]

Спасибо, составил по примеру. Будем ждать) А то очень подозрительно, уже почти неделя прошла, а только 1 страница в индексе.. Даже на ucoz быстрее сайт залетел...

неделя - это совсем мало, ждите еще недели 2, чтобы что-то увидеть :)

кстати, составление robots.txt вам мало поможет в ускорении индексации сайта, а вот карта xml для сайта не помешает и вот ее то нужно будет прописать в robots.txt :)

[genjnat]

а это для чего?

нужно было, чтобы папка /wp-content была закрыта, а вложение uploads индексировалось

[Darkhoru]

dmg.shark, Повторюсь, что даже юкозовский сайт залетел полностью в индекс Яши через неделю, мб просто повезло)) Карта сайта у меня есть, все прописано. К слову, гугл уже давно все что есть проиндексировал.. Яша лентяй))

[ArhStrAngeR]

Darkhoru,можно просто воспользоваться поиском по форуму и найти парочку статей http://webmasters.ru/forum/f10/optim...vodstvo-18111/ и Оптимизация сайта на wordpress