[zhurik]

Вот кусок роботса

Код HTML:

Disallow: /*?*
Disallow: /*?
Disallow: /?option=*
Disallow: /?limitstart=*
Disallow: /?start=*
Disallow: /?showall=*

Насколько я понимаю, Disallow: /*? запрещает к индексации все урлы, где встречается знак вопроса. Зачем тогда все остальные строки в этом куске? Часто встречаю много, на мой взгляд, лишних строк в роботсе именно такого плана. Вот и думаю, не попутал ли я чего...

[efs]

потому что писал это тонкий ценитель, которому нравятся роботсы по несколько килобайт весом, где вместо обобщающих правил построчно вкатаны правила для всех возможных вариаций урлов.

[Brovik]

могу ошибаться, но "Disallow: /*?" закрывает все что заканчивается на "?", потому как "Disallow: /*?*" закрывает все где внутри есть "?". Как-то так.

[Omura]

Звёздочка значит что после знака может быть что-то, а может и не быть. И перед знаком тоже так. Т.е. если в строке есть знак вопроса, то такой урл не индексируеться

[zhurik]

Brovik, ну хз, в гугле вот что написано

Чтобы заблокировать доступ ко всем URL, содержащим вопросительный знак (?),используйте этот пример. Здесь блокируются URL, которые начинаются с имени домена и содержат вопросительный знак.

User-agent: Googlebot Disallow: /*?

Яндекс вот что
Использование спецсимволов * и $

При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: YandexDisallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx' # и '/cgi-bin/private/test.aspx'Disallow: /*private # запрещает не только '/private', # но и '/cgi-bin/private'

Получается, что "Disallow: /*?" закрывает все, что содержит в урле знак вопроса.

---------- Сообщение добавлено 23:42 ---------- Предыдущее 23:40 ----------

Я тут взялся за аудиты сайтов, много достаточно хороших сайтов используют роботсы с подобными ошибками, вот я и подумал, может это я чего то недопонимаю ...

[Darkhoru]

В ситуациях, когда сомневаетесь, как будет работать роботс - удобно пользоваться стандартным инструментом в Я.Вебмастере - проверка Robots.txt.
Так, при наличии в роботсе Disallow: /*? - запрещаются все урлы, содержащие в себе "?", например - test.ru/index.php?=1123123.
Если написать Disallow: /*?$, то урл test.ru/index.php?=1123123 будет разрешен, а урл test.ru/index.php=1123123? - запрещен, т.е. запрещаются урлы, которые после "?" ничего больше не имеют.