[iavtomoto]

Написал FAQ по robots.txt
Этому файлу уделяется мало внимание, а пользу или вред он приносит огромный.
Так что читаем внимательно, буду рад если кто что дополнит, непременно внесу в статью.

Robots.txt

[OKyJIucT]

Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.
И у вас тут

Allow
Эта директива напротив, разрешает индексацию по указанному пути.

например, мы запрещаем для индексации весь сайт, но разрешаем папке images попасть в поиск:

Allow: / images/

Лишний пробел перед images

А тут

Знак $ обозначает окончание строки.

Рассмотрим действие $ на примере:

Disallow /category/ Запрещает к индексированию и category/ и category/index.html

Disallow /category/$ Запрещает к индексу ТОЛЬКО category/

Нет двоеточий после директивы Disallow.

[iavtomoto]

спасибо, писал на одном дыхании)), исправился.

[mixix]

iavtomoto,я сайт где то видел там абсолютно все про него! вот ссылка пока что хостинг не оплачен как оплатят увидите там очень много про него =) http://robotstxt.org.ru/

[iavtomoto]

спасибо, но мне все же хотелось бы услышать что либо о своей статье, старался собрать все только актуалное правильное и рабочее. что бы съэкономить время и себе и вам уважаемые)
ибо по большей части блог мой - книжка записная.. пишу чтоб не забыть что и как

[pingvin]

mixix, человек делится статьей со своего блога, а вы ему ссылку на другой источник. К тому же не рабочий...

[webb]

Как отнесутся Yandex и Google к такому файлу robots.txt:
User-Agent: *
Allow:
Disallow:

[iavtomoto]

webb, что вы хотите сказать роботам этим файлом?

[webb]

я ничего не хочу сказать. как поисковики к нему отнесутся, что будут делать.

[Kactuar]

Для них эта пустая информация, Они просто не обратят на это никакого внимания и будут пытаться индексировать сайт без ограничений