Подскажите как должен выглядеть правильный robots.txt если я хочу закрыть от индексации архивы, категории и теги, во избежании дублирования контента?
- 13.08.2010 15:52Студент
- Регистрация: 22.04.2010
- Сообщений: 64
- Репутация: 9
- 0
13.08.2010 16:17Речь про WP?
- 0
- 13.08.2010 16:21Студент
- Регистрация: 22.04.2010
- Сообщений: 64
- Репутация: 9
конечно о нем
что то вроде этого
User-Agent: googlebot
Disallow: /tag
Disallow: /category
Disallow: /tag
Disallow: /feed
Disallow: /trackback
Disallow: /comments
Disallow: /archives
но вероятно это очень топорно, на всех ресурсах противоречивые сведения о составлении этого файла- 0
- 13.08.2010 19:22
а почему составляете только для google? почему яндекс не трогаете?
- 0
- 13.08.2010 19:37Banned
- Регистрация: 19.07.2010
- Сообщений: 375
- Репутация: 35
Цитата:как вариант контент под буржуевСообщение от dmg.shark
- 0
- 13.08.2010 22:40Цитата:хорошо: а почему составляете только для google? почему yahoo, bing и пр. не трогаете?Сообщение от punch так пойдет?
- 0
- 13.08.2010 22:53Senior Member
- Регистрация: 07.01.2010
- Сообщений: 953
- Репутация: 21
С каких пор Гугл наказывает за дублирование контента в виде рубрик, тэгов и архивов? Это Яндекс хуйню несет, а гугл все отлично кушает.
- 0
- 15.08.2010 21:39
Google не наказывает, он просто не берет в индекс не нужные ему страницы. А Яндекс жрет все говно подряд в индекс, а потом наказывает
Да и еще вообще речь про санкции пошла? Девушка просто хочет избавиться от дублирования
- 0
- 25.09.2010 16:55Junior Member
- Регистрация: 05.04.2010
- Сообщений: 8
- Репутация: 8
вот тут я писал про роботс.тхт для ВП http://wickedblog.ru/2009/12/07/opti...lya-wordpress/
- 0
- 26.09.2010 15:12
wicked_kiD, для чего вы расписываете отдельно в robots.txt для Яндекса и Google?
- 0
Тэги топика:
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Robots.txt в Вордпрессе | Софт, скрипты, сервисы | 50 | 27.07.2011 18:48 |
Robots.txt | Обучающие статьи | 12 | 30.06.2011 11:29 |
Шутки в robots.txt | Дайджест блогосферы | 2 | 10.12.2010 02:39 |
Robots.txt. Индексация ТОЛЬКО главной страницы | Прочее | 16 | 01.05.2010 12:37 |
Файл robots.txt – важная часть блога | Дайджест блогосферы | 11 | 15.01.2010 23:43 |