[treeclimber]

Парни, robots.txt это же всегда было рекомендательными и не обязательными инструкциями для любой ПС.
Или я ошибаюсь ?

[kissdeniss@gmail.com]

Не ошибаешься, но из свое практики могу сказать, что гугл прислушивается к правилам в роботсе!

[D1sowell]

treeclimber, да всё верно. ПС могут и сами разобраться в твоём сайте, но лучше им помочь

[pyramida]

что гугл прислушивается к правилам в роботсе

не прислушивается, а четко исполняет. У него машинное время расписано :)
Первое, что гуглебот делает на сайте, запрашивает файл роботс, а потом уже начинает сканирование.

[Jeth]

pyramida, зная политику Google, мне больше кажется, что сначала запускаются все процессы, а уже потом учитываются robots и прочие. Гугл любит данные, а возможностей их обработки у него достаточно.

[pyramida]

возможностей их обработки у него достаточно

приколы у него бывают

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 200 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.

сайта год как нет, а в поиске ищется :)