Robots.txt. Индексация ТОЛЬКО главной страницы

**hichnii** · 07.09.2009 12:37

Ребят, подскажите плиз как кто реализовывает в robots.txt индексацию ТОЛЬКО главной страницы сайта? насколькоя я знаю запретить к индексации весь сайт, а разрешить индексацию сайта с помощью Allow только главной не прокатывает. Мне приходится разрешать весь сайт к индексации и закрывать все остальные страницы следующим образом:
User-agent: *
Disallow: /page1.html
Disallow: /page2.html
...

Минусом данного варианта является поиск всех страниц сайта, что занимает много времени и трудов при работе с многостраничными сайтами, кто что может предложить по решению данной проблемы?

**Lucky-Max** · 07.09.2009 15:16

hichnii - запрети к индексации все директории, а также все файлы находящиеся в них.

Насчет диретивы Allow :), глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой.

**ral** · 07.09.2009 15:47

Сообщение от Lucky-Max

hichnii - запрети к индексации все директории, а также все файлы находящиеся в них.

Насчет диретивы Allow :), глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой.

муторно, но правильно закрыть каждую страницу от индексации.

**Patologoanatom** · 07.09.2009 16:10

Не уверен что сработает, но попробуй:
Disallow: /*.html

**hichnii** · 07.09.2009 16:14

Сообщение от Patologoanatom

Не уверен что сработает, но попробуй:
Disallow: /*.html

Что сработает то? нифига не понял

**dveredel** · 07.09.2009 16:15

Я от гугла что закрывал, что не закрывал - один фиг, если ему приспичит - он проиндексирует, хочешь ты этого или нет.

Только если по айпи и юзерагенту не пускать, но это уже клоакинг получается.

**jurar1** · 07.09.2009 16:25

PHP код:

 <!--#if expr=" "${HTTP_HOST}" != "www.главное_имя.ru" " -->

User-Agent: *

Disallow: /

<!--#endif -->

В этом файле роботу запрещен обход всех хостов, кроме

www.главное_имя.ru
http://yapro.ru/web-master/xhtml/kak...h_stranic.html

**inlanger** · 07.09.2009 16:26

Сначала сделай
Disallow: /*.*
а потом Allow index.html в .htaccess, должно сработать

Интересно почитать: как скрыть ссылки.

**Lucky-Max** · 07.09.2009 16:31

Сообщение от ral

муторно, но правильно закрыть каждую страницу от индексации.

- я это и советовал.

Patologoanatom - запретит индексацию таким образом всех файлов .html

dveredel - Ни одного случая подобного не было, если правильно составлен robots.txt, такого не должно произойти. Иногда такое случается, при неправильном запрете индексации динамических ссылок.

inlanger - как вариант :)

**blogtai** · 07.09.2009 16:46

А для чего чтобы ПС только главную индексировала? просто интересно с какой целью?

	07.09.2009 12:37 #1
hichnii Опытный Регистрация: 03.09.2009 Сообщений: 306 Репутация: 12	Ребят, подскажите плиз как кто реализовывает в robots.txt индексацию ТОЛЬКО главной страницы сайта? насколькоя я знаю запретить к индексации весь сайт, а разрешить индексацию сайта с помощью Allow только главной не прокатывает. Мне приходится разрешать весь сайт к индексации и закрывать все остальные страницы следующим образом: User-agent: * Disallow: /page1.html Disallow: /page2.html ... Минусом данного варианта является поиск всех страниц сайта, что занимает много времени и трудов при работе с многостраничными сайтами, кто что может предложить по решению данной проблемы? Последний раз редактировалось grazer; 01.03.2010 в 22:44. MarketSamurai.ru: Просто о сложно в Интернете
0 hichnii

	07.09.2009 15:16 #2
Lucky-Max Дипломник Регистрация: 24.07.2009 Сообщений: 119 Репутация: 10	hichnii - запрети к индексации все директории, а также все файлы находящиеся в них. Насчет диретивы Allow :), глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой. В моем Фарма блоге, вы можете почитать статьи О оптимизации дефолтовых шопов ведущих фарма партнерок, а также заказать Качественный, уникальный фарма контент :)
0 Lucky-Max

	07.09.2009 15:47 #3
ral Дипломник Регистрация: 03.09.2009 Сообщений: 220 Репутация: 10	Сообщение от Lucky-Max hichnii - запрети к индексации все директории, а также все файлы находящиеся в них. Насчет диретивы Allow :), глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой. муторно, но правильно закрыть каждую страницу от индексации.
0 ral

	07.09.2009 16:10 #4
Patologoanatom Студент Регистрация: 04.09.2009 Сообщений: 86 Репутация: 11	Не уверен что сработает, но попробуй: Disallow: /*.html
0 Patologoanatom

	07.09.2009 16:14 #5
hichnii Опытный Регистрация: 03.09.2009 Сообщений: 306 Репутация: 12	Сообщение от Patologoanatom Не уверен что сработает, но попробуй: Disallow: /*.html Что сработает то? нифига не понял MarketSamurai.ru: Просто о сложно в Интернете
0 hichnii

Robots.txt. Индексация ТОЛЬКО главной страницы

Опции темы

Тэги топика:

Похожие темы

Robots.txt в Вордпрессе

Robots.txt

Как в DLE вывести текст только на главной?

Файл robots.txt – важная часть блога

Кол-по постов на главной

Интересные темы

в яндексе только главная страница

Тем:

Сообщений:

Пользователей:

Сейчас на сайте:

Вход

Сайт

Разделы

Прочее

Следите за нами

Витрина ссылок

У нас проходит

У кого попросить инвайт?

Золотые темы форума

Последние новости

Популярные темы

Информеры

	07.09.2009 16:15 #6
dveredel Member Регистрация: 03.09.2009 Сообщений: 34 Репутация: 10	Я от гугла что закрывал, что не закрывал - один фиг, если ему приспичит - он проиндексирует, хочешь ты этого или нет. Только если по айпи и юзерагенту не пускать, но это уже клоакинг получается. Последний раз редактировалось grazer; 01.03.2010 в 21:46.
0 dveredel

	07.09.2009 16:25 #7
jurar1 Опытный Регистрация: 03.09.2009 Сообщений: 387 Репутация: 10	PHP код: `<!--#if expr=" "${HTTP_HOST}" != "www.главное_имя.ru" " --> User-Agent: * Disallow: / <!--#endif -->` В этом файле роботу запрещен обход всех хостов, кроме www.главное_имя.ru http://yapro.ru/web-master/xhtml/kak...h_stranic.html :eek::eek::eek: БАБЛО
0 jurar1

	07.09.2009 16:26 #8
inlanger Гуру Регистрация: 03.09.2009 Сообщений: 521 Репутация: 21	Сначала сделай Disallow: /. а потом Allow index.html в .htaccess, должно сработать Интересно почитать: как скрыть ссылки. Последний раз редактировалось grazer; 13.03.2010 в 03:45. блог дорвейщика \| twitter \| домашняя страница
0 inlanger

	07.09.2009 16:31 #9
Lucky-Max Дипломник Регистрация: 24.07.2009 Сообщений: 119 Репутация: 10	Сообщение от ral муторно, но правильно закрыть каждую страницу от индексации. - я это и советовал. Patologoanatom - запретит индексацию таким образом всех файлов .html dveredel - Ни одного случая подобного не было, если правильно составлен robots.txt, такого не должно произойти. Иногда такое случается, при неправильном запрете индексации динамических ссылок. inlanger - как вариант :) Последний раз редактировалось grazer; 02.03.2010 в 06:04. В моем Фарма блоге, вы можете почитать статьи О оптимизации дефолтовых шопов ведущих фарма партнерок, а также заказать Качественный, уникальный фарма контент :)
0 Lucky-Max

	07.09.2009 16:46 #10
blogtai Senior Member Регистрация: 04.09.2009 Сообщений: 820 Репутация: 10	А для чего чтобы ПС только главную индексировала? просто интересно с какой целью? SEO блог
0 blogtai

Темы	Раздел	Ответов	Последний пост
Robots.txt в Вордпрессе	Софт, скрипты, сервисы	50	27.07.2011 17:48
Robots.txt	Обучающие статьи	12	30.06.2011 10:29
Как в DLE вывести текст только на главной?	Софт, скрипты, сервисы	2	04.02.2010 22:32
Файл robots.txt – важная часть блога	Дайджест блогосферы	11	15.01.2010 23:43
Кол-по постов на главной	Блоги	54	12.09.2009 22:23