Robots.txt или в noindex

[arturfat]

Прежде чем писать сюда посмотрел темы где упоминается что-либо о файле robots.txt в разных топиках форума. Но в основном все говорят либо про конкретные страницы, либо про теги и метки на блогах.

В этот раз суть вопроса такова. В интернет-магазинах есть блок фильтрации. В разных интернет магазинах она разная. И выглядит тоже по разному.

Пример, есть страница с таким урлом: http://sait.ru/catalog/tool/?s=popular&brand=3178

Как в этом случае лучше поступить? Закрыть блок в ноиндекс? Либо закрыть его в роботсе?

Кроме этого, кто-нибудь из форумчан применял в роботсе директиву Clean-param? И можно ли её использовать в выше описанном примере? Если нет, то в каких случаях она применяется (если не сложно, конкретные примеры)

[OKyJIucT]

Я закрывал в роботсе, ставил запрет страниц, в адресе которых есть "?"

Мануал от гугла

Чтобы заблокировать доступ ко всем URL-адресам, содержащим знак вопроса (?) (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:
User-agent: Googlebot
Disallow: /*?

[dmg.shark]

arturfat, закрыв страницы в robots.txt вы получаете гарантию, что не будет дублей с другой сортировкой, поэтому это нужно делать. Закрывать кусок страницы от индексации тоже нужно, потому что это мусорный код, который не нужен поисковой системе. Но лучше всего не в <noindex> закрывать, а например сделать на JS эту сортировку, тогда она просто-напросто сама в индекс не пойдет :) удачного продвижения! :)

[arturfat]

dmg.shark, да проблема то в том, что делать сейчас сортировку на JS, то это перепрограммировать получается надо. В данном случае возможности таковой нет. Значит остается закрывать в роботсе.

[domainsfree]

Я бы порекомендовал mod_rewrite дабы все фильтры и прочие служебные урлы вынести организованно в disallow. Я стараюсь это делать вначале разработки сайта. Попробуйте в роботсе создать правило: если урлы содержат какие-то значения, например popular&brand их не индексировать.