Ребят, подскажите плиз как кто реализовывает в robots.txt индексацию ТОЛЬКО главной страницы сайта? насколькоя я знаю запретить к индексации весь сайт, а разрешить индексацию сайта с помощью Allow только главной не прокатывает. Мне приходится разрешать весь сайт к индексации и закрывать все остальные страницы следующим образом:
User-agent: *
Disallow: /page1.html
Disallow: /page2.html
...
Минусом данного варианта является поиск всех страниц сайта, что занимает много времени и трудов при работе с многостраничными сайтами, кто что может предложить по решению данной проблемы?
- 07.09.2009 12:37Опытный
- Регистрация: 03.09.2009
- Сообщений: 313
- Репутация: 12
Последний раз редактировалось grazer; 01.03.2010 в 21:44.
- 0
- 07.09.2009 15:16Дипломник
- Регистрация: 24.07.2009
- Сообщений: 135
- Репутация: 10
hichnii - запрети к индексации все директории, а также все файлы находящиеся в них.
Насчет диретивы Allow
, глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой. - 0
- 07.09.2009 15:47Senior Member
- Регистрация: 03.09.2009
- Сообщений: 230
- Репутация: 10
муторно, но правильно закрыть каждую страницу от индексации.
Сообщение от Lucky-Max 
hichnii - запрети к индексации все директории, а также все файлы находящиеся в них.
Насчет диретивы Allow, глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой.- 0
- 07.09.2009 16:10Member
- Регистрация: 04.09.2009
- Сообщений: 90
- Репутация: 11
Не уверен что сработает, но попробуй:
Disallow: /*.html- 0
- 07.09.2009 16:14Опытный
- Регистрация: 03.09.2009
- Сообщений: 313
- Репутация: 12
Что сработает то? нифига не понял Сообщение от Patologoanatom - 0
- 07.09.2009 16:15Member
- Регистрация: 03.09.2009
- Сообщений: 36
- Репутация: 10
Я от гугла что закрывал, что не закрывал - один фиг, если ему приспичит - он проиндексирует, хочешь ты этого или нет.
Только если по айпи и юзерагенту не пускать, но это уже клоакинг получается.Последний раз редактировалось grazer; 01.03.2010 в 20:46.
- 0
- 07.09.2009 16:25Senior Member
- Регистрация: 03.09.2009
- Сообщений: 396
- Репутация: 10
PHP код:В этом файле роботу запрещен обход всех хостов, кроме<!--#if expr=" "${HTTP_HOST}" != "www.главное_имя.ru" " -->
User-Agent: *
Disallow: /
<!--#endif -->
www.главное_имя.ru
http://yapro.ru/web-master/xhtml/kak...h_stranic.html- 0
- 07.09.2009 16:26Гуру
- Регистрация: 03.09.2009
- Сообщений: 551
- Репутация: 18
Сначала сделай
Disallow: /*.*
а потом Allow index.html в .htaccess, должно сработать
Интересно почитать: как скрыть ссылки.Последний раз редактировалось grazer; 13.03.2010 в 02:45.
- 0
- 07.09.2009 16:31Дипломник
- Регистрация: 24.07.2009
- Сообщений: 135
- Репутация: 10
- я это и советовал. Сообщение от ral
Patologoanatom - запретит индексацию таким образом всех файлов .html
dveredel - Ни одного случая подобного не было, если правильно составлен robots.txt, такого не должно произойти. Иногда такое случается, при неправильном запрете индексации динамических ссылок.
inlanger - как вариант Последний раз редактировалось grazer; 02.03.2010 в 05:04.
- 0
- 07.09.2009 16:46Senior Member
- Регистрация: 04.09.2009
- Сообщений: 845
- Репутация: 10
А для чего чтобы ПС только главную индексировала? просто интересно с какой целью?
- 0
Тэги топика:
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Robots.txt в Вордпрессе | Софт, скрипты, сервисы | 50 | 27.07.2011 17:48 |
Robots.txt | Обучающие статьи | 12 | 30.06.2011 10:29 |
Как в DLE вывести текст только на главной? | Софт, скрипты, сервисы | 2 | 04.02.2010 21:32 |
Файл robots.txt – важная часть блога | Дайджест блогосферы | 11 | 15.01.2010 22:43 |
Кол-по постов на главной | Блоги | 54 | 12.09.2009 22:23 |
Интересные темы
в яндексе только главная страница
Учимся составлять robots.txt правильно, если в яндексе только главная страница, читайте подробности здесь.