[patrician]

А почему бы это:
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Не заменить на это?
Disallow: /?do=*

[MacLeo]

patrician, в основном, делал так как и Вы, но спустя некоторое время я заказывал разработку дополнительных модулей для сайта, а так же исходя из тех что находятся в свободном доступе, которые делают ссылки на страницы такого типа, я решил указать конкретные страницы.

[vasilevzz]

Да ладно, вот это расписали, Спасибо вам всем огромное за развернутое обсуждение. Ато уже фиг знает сколько ищу нормальный роботс и что бы было объяснено почему то то закрыто, а то то открыто. Инфы море а конкретного ничего не мой найти, у каждого по разному, разные доводы.

[SPNetLog]

Был бы безмерно счастлив, если бы кто нибудь написал сюда правильный роботс для Джумлы. Ведь cms достаточно ходовая.

[genesis33]

Для джумлы было бы интересно посмотреть...

[MacLeo]

Прошу прощение, с джумлой работал всего 2-3 раза но глубоко не копал, если кто то поделиться своим robots и подробно распишет что и зачем закрывал - с удовльствием добавлю в старт пост

[adapt]

Наконец-то внятная статья, с пояснениями! А то мне, как новичку, от большого количества размытой информации легко запутаться. Спасибо и Плюсую!!

[kenzo]

Как закрыть от индексации страницы с комментариями, которые имеют вид:
http://***.ru/?p=173#comment-1391
Я так понимаю, что знак решетки отсекает оставшуюся часть (воспринимается так, как будто за ней стоит комментарий)... Как быть в данном случае может кто подскажет?

[MacLeo]

kenzo, в robots.txt, который находится в старт-посте, такие ссылки запрещены правилом /*?*

[genjnat]

Для джумлы было бы интересно

Развернуть текст

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /component/
Disallow: /*index.php*
Disallow: /*?start=
Disallow: /*feed?type=

Host:

[свернуть]

Усредненный, но не универсальный вариант, в некоторых случаях запрещать component или index.php нельзя.