[devastation]

В статье я постарался описать предназначение и создание файла robots.txt, а также описать директивы нужные для его наполнения.

Я не брал за цель описать все возможные директивы. А только самые основные нужные для создания эффективного файла robots.txt. Так же я привел ряд ошибок, которые лучше не допускать при создании robots.txt

Статья - robots.txt

[antik-invest]

devastation, спасибо, интересно и полезно.
Можно вопрос от начинающего? только не читайте в нем какие-то подстебки, мне реально интересно.
Ваш реальный роботс на одну строчку отличается от того примера, что выложен как пример
запретом на это - links.html
ну ясно, что я не робот, мне наклонной палочкой сложно вход перегородить, и пошла и посмотрела))))

а что это за файл? ))) - только по чесноку ответьте... мне такой тоже нужно завести для разгона? или это просто для обмена?

[Xstroy]

О необходимости создания robots.txt писали не раз. Некоторое время всё же игнорировал необходимость задания в нём ограничений по индексации, но теперь чуствую большую необходимость в его правильном составлении.
Причина - выход в топ по одному из запросов страницы предварительного просмотра статьи, при существующем оригинале на блоге. Продвигать несуществующую статью, конечно же, не имеет смысла, поэтому пришлось задуматься.

Кроме того, недавно стали появляться в индексе страницы с feedberner с атрибутами сервиса, что тоже не очень хорошо. Правда пока ещё не пойму как отсечь "хвост" у ссылки(пример: сайт/тема-статьи/?utm_source=feedburner&utm_medium=feed&utm_campaig n=Feed%3A+Xstroy+%28Xstroy%29 . Может кто подскажет?

[devastation]

а что это за файл? ))) - только по чесноку ответьте... мне такой тоже нужно завести для разгона? или это просто для обмена?

Это я заказывал прогон по каталогам. А это файл в котором лежат беки для каталогов которые хотят обратную ссылку.

---------- Сообщение добавлено 08:31 ---------- Предыдущее 08:29 ----------

Кроме того, недавно стали появляться в индексе страницы с feedberner с атрибутами сервиса, что тоже не очень хорошо. Правда пока ещё не пойму как отсечь "хвост" у ссылки(пример: сайт/тема-статьи/?utm_source=feedburner&utm_medium=feed&utm_campaig n=Feed%3A+Xstroy+%28Xstroy%29 . Может кто подскажет?

Директива Clean-param.

Правда работает она по ходу только для Яндекса. Но она решит твой вопрос.