[PROFISOFT]

Код HTML:

UserВagent: *
Disallow: /test/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews

Нашел на одном сайте в robots. Что за новая фишка, кто нибудь знает?

[brainix]

Что за новая фишка, кто нибудь знает?

Называется опечатка.

http://help.yandex.ru/webmaster/cont...xml#user-agent

[PROFISOFT]

Называется опечатка.

Получается robots у него вообще не работает и выдает весь мусор? Странно как он занял 14е место по LI в своей тематике и поднял 30 штук трафа.

[Brovik]

это действительно опечатка. Даже если с ней все остальные условия исполняются, просто строчку "UserВagent: *" поисковые роботы исключают, а если ее нет, то по умолчанию они все хавают. Как-то так.

[Searchmechaniks]

Строка User-agent также используется веб-мастерами для предотвращения индексирования «поисковыми пауками» некоторых страниц сайта, например когда индексирование определённых страниц не имеет смысла или конкретный «паук» использует слишком много трафика. Веб-мастер может использовать специальный файл robots.txt для рекомендаций «пауку» или просто настроить веб-сайт не отдавать «пауку» эти страницы.