[OKyJIucT]

Прописал в роботс вот такое правило

PHP код:

Disallow: /*page/
Disallow: */page/*/ 


но либо плохо апнуло, либо не сработало.
Подскажите, самое правильное правило (:)), чтобы закрыть все /page у категорий, тегов, страниц автора

Мануал по роботсу от Яндекса

User-agent: Yandex
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

Если page лежит в корне, то перед ним не надо ставить *. Чтобы закрыть все папки и страницы, в названии которых есть "page"? достаточно использовать любую из команд (они равносильны):

Код:

User-agent: Yandex
Disallow: /page*
Disallow: /page

---------- Сообщение добавлено 15:47 ---------- Предыдущее 15:46 ----------

Tipatot, а для DLE я бы еще и теги закрыл

Код:

User-agent: Yandex
Disallow: /tags/

[Tipatot]

OKyJIucT, Как теги закрыть? На одном из сайтов у меня как раз и идет траф с поисковиков на теги в основном. И люди звонят и заказывают услугу...

[OKyJIucT]

Tipatot, так это ведь дубли страниц. За такое Яша по голове не гладит обычно :)
Кроме того, что ваши статьи доступны по адресу site.ru/text1.html так еще и по site.ru/tags/gold к примеру. Многие склоняются к мысли, что доступ к таким страницам для роботов надо ограничивать.

[Orcstation]

Перед тем как закрыть, посмотрите еще каким путем будет идти индексация страниц на вашем сайте. А то я закрыл /page/ на одном из сайтов, так 90% страниц вывалилось из поиска. Так осторожнее с экспериментами.