[uadmitriy]

User-agent: *
Disallow: /auth
Disallow: /content
Disallow: /cache
Disallow: /cp
Disallow: /includes
Disallow: /media
Disallow: /js
Disallow: /style

Sitemap: http://site.com/sitemap.xml

Как считаете, стоит ли запрещать

Disallow: /content
Disallow: /cache
Disallow: /includes
Disallow: /media
Disallow: /js
Disallow: /style

[SEOinSoul]

А движок то какой ?
Можно даже сам сайт скинуть, чтоб нагляднее было. Если модеры не пропустят, кидай в личку

[WinneR]

Disallow: /content
Disallow: /cache
Disallow: /media
Думаю что их не стоит запрещать скорее всего в контенте у тебя могут быть какие то загруженные файлы как и в медиа, а cache если єто кешированые странци то тоже думаю что не стоит, а там посмотри сам что у тебя в этих папках лежит!

[uadmitriy]

WinneR, есть совет извне что Yandex все равно проиндексирует картинки и это снимет нагрузку на сервер краулером

[WinneR]

не, не проиндексирует, все что будет к примеру в Disallow: /content не проиндексируется