[Zevss]

Уважаемые гуру, что скажете, все ли тут правильно?

Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

[Ronin]

зачем 2 раза указывать на карту сайта?
По мне так одного раза хватит, вот эту строчку уберите "Sitemap: http://мойсайт.ru/sitemap.xml.gz"

[mojwp]

советую так настроить http://alaev.info/blog/post/4143

[algaretio]

Zevss,а вы категории тоже получается закрываете? У меня всегда открыты и хорошо ранжируются, дублями не считаются, если контент разнообразен и наполняется постоянно.

[seowp]

Zevss,а вы категории тоже получается закрываете? У меня всегда открыты и хорошо ранжируются, дублями не считаются, если контент разнообразен и наполняется постоянно.

Так в WordPress можно к каждой категории свое описание выводить с оформлением. Пишешь уникальный текст как статью по запросу, по которому категория подходит, и всё.
А вообще все зависит от сайта - стоит продвигать категории или закрыть их от индекса - дело каждого. Раньше, когда только начал изучасть WP, везде в роботсе были закрыты категории и я как-то не задумывался, что их можно продвигать.

[Zevss]

mojwp,

Идеальный robots.txt для WordPress будет примерно такой:

User-Agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

И ВСЕ???

[algaretio]

Так в WordPress можно к каждой категории свое описание выводить с оформлением. Пишешь уникальный текст как статью по запросу, по которому категория подходит, и всё.
А вообще все зависит от сайта - стоит продвигать категории или закрыть их от индекса - дело каждого. Раньше, когда только начал изучасть WP, везде в роботсе были закрыты категории и я как-то не задумывался, что их можно продвигать.

Все верно, именно так я и делаю.

[mojwp]

Zevss, Почитайте статью по ссылке и вопросы отпадут.

[kirill87]

Достаточно сделать так:
User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-
Disallow: */feed
Disallow: /search
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback
Disallow: /*?*
Disallow: /*page
Disallow: /2013

Host:

Sitemap: http://.......ru/sitemap.xml

[m@rs]

Есть на форуме раздел "золотые темы"
там и про роботс есть статейка:
http://webmasters.ru/forum/f10/tonko...60ya%5D-31599/