[WebMaestro]

На сайте сделали фильтр поиска товаров, спустя несколько дней в Google Вебмастер уже сообщает о проблеме:

----------------
Робот Googlebot столкнулся с проблемами при сканировании вашего сайта http://motodim.com/.
Робот Googlebot обнаружил чрезвычайно большое количество ссылок на вашем сайте. Это может свидетельствовать о проблеме, связанной со структурой URL-адресов сайта. Возможно, робот Googlebot без необходимости сканирует большое количество различных URL, указывающих на идентичное или похожее содержание, либо сканирует разделы сайта, не требующие сканирования. В результате робот Googlebot может потреблять гораздо больше ресурсов канала передачи данных, чем необходимо. Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта.
Подробнее об этой проблеме
Приводим примерный список URL-адресов с возможными проблемами. Обратите внимание, что данный список может быть неполным.
----------------

Что делать? Я закрыл фильтр для индексации в robots, но это не думаю что эффективно, поскольку robots.txt это только рекомендация google боту
Буду благодарен за советы

[DragDG]

У вас пол ляма ссылок в гугле, что за cms?
в robots с фильтром все ок, теперь только ждать когда гугл примет его к сведению.
яндексу и прочим тоже имеет смысл прописать Disallow: /*filter

[dotWizard]

WebMaestro, Что значит "всего лишь рекомендация"? Гугл так же как и любая другая ПС работает с этим файлом, тот же алгоритм.

Ну а насчёт этой проблемы, так обычно такие вещи закрываются для всех ПС, тем более для яши это может быть ещё более критично, он может за дубли страниц начать выбрасывать из индекса.

[pyramida]

WebMaestro, метатегом ноиндекс(не путать с тегом ноиндекс от яши) закройте не нужные. Откройте вроботс если закрыли и как выкинет из индекса, тогда в нофоллоу лишние ссылки можете поставить.

[Brovik]

та же фигня была, 2 млн страниц сожрал, потому что фильтр на пхп был и генерировал кучу страниц.
Короче разрабы облажались, а я провтыкал...Заметил через 2 месяца, закрыл в роботсе и стало все ок.
В общем советую закрыть, иначе позиции будут падать.