[krockki]

Представлю Вам и свой роботс:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: сайт

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://сайт/sitemap.xml

Отключает все, что не нужно. В результате остается чистый контент, без повторов :)

[kiberblog]

krockki, спасибо,поэкспериментирую с таким вариантом). А есть ли разница в расположении описаний? Часто встречал, что сначала описывается настройка для всех роботов, а потом для Яши, а здесь почему-то наоборот.

[orange-tvv]

у меня почти тоже самое как у krockki, но добавлен еще

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

[Pheebio]

Нужно ли закрывать от индексации теги и рубрики?Я вот подумал, теги закрыть, а рубрики оставить.Из-за того, что к рубрикам можно описание добавить.

[chameleon4ik]

Pheebio, у меня наоборот рубрики закрыты, а теги открыты.
kiberblog, правильно будет указать сначала для определенных поисковых роботов, а потом уже для всех.

[mln141]

А не подскажете заодно какие права на файлы/папки WP выставить?

[chameleon4ik]

mln141, на файлы 666, на папки 777.

[Mae$tro]

chameleon4ik,
Вообще то на файлы 666 ставить это как бы дома открыть окно для воров )))
Лучше всего выставить на файлы 644, на папки 755

[mln141]

Лучше всего выставить на файлы 644, на папки 755

на все? или какие-нибудь вообще лучше закрыть от посторонних? Уж больно не хочется не то что окно, но и форточку оставлять.

[Mae$tro]

mln141,
На все. Так как на файлах 644 права не дают сделать что то плохого. А папки 755 это стандарт на хостингах, так они тоже защищены.