Robots.txt

**Tilad** · 23.09.2010 01:40

Говорят роботс от АГСа спасает... нет дублей - проблема.

**grazer** · 09.11.2010 06:51

Сообщение от Tilad

Говорят роботс от АГСа спасает... нет дублей - проблема

От дублей могут спасти еще и прямые руки, но, некоторые движки в любом случае некоторые страницы будут дублировать.

**levko** · 30.06.2011 10:29

terehoff,
вот только некоторые роботс крупных проектов слегка удивляют,например вот такие

User-agent: *
Disallow:

видимо есть смысл в таком

	23.09.2010 01:40 #11
Tilad Опытный Регистрация: 16.12.2009 Сообщений: 274 Репутация: 44	Говорят роботс от АГСа спасает... нет дублей - проблема. Тайлад а не Тилод! i - [ай] XD Я был заблокирован на 2 недели за нарушение правил форума
0 Tilad

	09.11.2010 06:51 #12
grazer Super Moderator Регистрация: 03.09.2009 Сообщений: 5,202 Записей в дневнике: 83 Репутация: 2384 Webmoney BL: ?	Сообщение от Tilad Говорят роботс от АГСа спасает... нет дублей - проблема От дублей могут спасти еще и прямые руки, но, некоторые движки в любом случае некоторые страницы будут дублировать. Домены, хостинг и VPS 10 лет доверяю REG.RU. Проблем нет. Пишу про SEO в 2025 в телеграме, подписывайтесь (cнг/бурж seo).
0 grazer

	30.06.2011 10:29 #13
levko Гуру Регистрация: 18.04.2011 Сообщений: 693 Записей в дневнике: 4 Репутация: 98 Webmoney BL: ?	terehoff, вот только некоторые роботс крупных проектов слегка удивляют,например вот такие User-agent: * Disallow: видимо есть смысл в таком
0 levko

Темы	Раздел	Ответов	Последний пост
Robots.txt в Вордпрессе	Софт, скрипты, сервисы	50	27.07.2011 17:48
Robots.txt. Индексация ТОЛЬКО главной страницы	Прочее	16	01.05.2010 11:37
Файл robots.txt – важная часть блога	Дайджест блогосферы	11	15.01.2010 23:43