[cetra]

Подскажите как должен выглядеть правильный robots.txt если я хочу закрыть от индексации архивы, категории и теги, во избежании дублирования контента?

[dmg.shark]

Речь про WP? :)

[cetra]

конечно о нем
что то вроде этого
User-Agent: googlebot
Disallow: /tag
Disallow: /category
Disallow: /tag
Disallow: /feed
Disallow: /trackback
Disallow: /comments
Disallow: /archives
но вероятно это очень топорно, на всех ресурсах противоречивые сведения о составлении этого файла

[dmg.shark]

а почему составляете только для google? почему яндекс не трогаете?

[punch]

а почему составляете только для google? почему яндекс не трогаете?

как вариант контент под буржуев

[dmg.shark]

как вариант контент под буржуев

хорошо: а почему составляете только для google? почему yahoo, bing и пр. не трогаете? :) так пойдет? :)

[Shakiroff]

С каких пор Гугл наказывает за дублирование контента в виде рубрик, тэгов и архивов? Это Яндекс хуйню несет, а гугл все отлично кушает.

[dmg.shark]

Google не наказывает, он просто не берет в индекс не нужные ему страницы. А Яндекс жрет все говно подряд в индекс, а потом наказывает :)

Да и еще вообще речь про санкции пошла? Девушка просто хочет избавиться от дублирования

[wicked_kiD]

вот тут я писал про роботс.тхт для ВП http://wickedblog.ru/2009/12/07/opti...lya-wordpress/

[dmg.shark]

wicked_kiD, для чего вы расписываете отдельно в robots.txt для Яндекса и Google?