Закрыть от индексации в ...

[IceHell]

Подскажите такого рода ссылки видны в sitemap.xml на движке simpla


<loc>http://www.site.ru/products?sort=price</loc>
<loc>http://www.site.ru/catalog/norka?sort=position</loc>
<loc>http://www.site.ru/products?sort=position&amp;page=2</loc>
<loc>http://www.site.ru/catalog/me?sort=price&amp;page=2</loc>


Такого рода сортировки, в робост же лучше закрыть от ботов?
А как закрыть ?

Disallow: /?sort
?

[pyramida]

IceHell, некоторое время назад я бы однозначно сказал, что нужно закрыть sort. Но сейчас (если речь идет о магазине) отвечу нет. Не нужно. Лучше использовать canonical, ПС владеют лучше информацией о том, что ищут пользователи и разнообразные наборы данных для товаров могут быть полезными для пользователей.

[IceHell]

pyramida, задаются в ВебМастере Google? а в Яндексе как поступить ?

[genjnat]

ПС владеют лучше информацией о том, что ищут пользователи и разнообразные наборы данных для товаров могут быть полезными для пользователей.

И в итоге, на всех магазах, их 100000 - 200000 страниц, в индексе 300-2000.
pyramida, ну что же вы ерунду эту советуете...
Пагинацию закрывать не нужно, сортировку (способную генерить бесконечное количество страниц) - закрывать не нужно. Где-то здесь еще одни СЕО авторитет настоятельно советовал результаты поиска оставлять открытыми.
Это бред - нельзя. Повторяю - сайты отдающие бесконечное количество бесполезных для поиска страниц, со временем ПС начинают считать бесполезными для поиска полностью.
О проблемах с определением релевантной, и о том что из-за этого мусора нормальные страницы не индексируются (ПС физически не могут их вычленить) - вообще молчу.

ТС - да, Disallow: /?sort

[IceHell]

genjnat,
а если так ? - Disallow: /*?sort=

[Globitex]

Читаем внимательно _https://support.google.com/webmasters/answer/139066?hl=ru?
Чтобы более эффективно управлять отображением своих URL в результатах поиска, а также улучшить такие свойства, как популярность ссылки, рекомендуется выбрать канонический (основной) URL в качестве предпочитаемой версии страницы. Сообщить в Google о своем выборе можно несколькими способами. Все эти способы являются рекомендуемыми, но не обязательными. Если вы не укажете канонический URL, мы попытаемся самостоятельно определить его. Не рекомендуется использовать файл robots.txt для канонических страниц

Если вы считаете, что ваши страницы не подходят, а вы не хотите плодить кучу бесполезных дублей, тогда закрываем.

[IceHell]

Globitex,
Ну мне же эти страницы не нужны, верно ? Они же одинаковые страницы выдают, только местами товары меняются. Их порядка 40-50 шт.
Можно их закрыть в роботс тогда ? так ? - Disallow: /*?sort=

[pyramida]

genjnat, я указал на использование каноникал. Если Вы не вкурсе, что это и зачем используется, я не виноват. Мы не в школе, а вы не учитель.

[IceHell]

Думаю попробовать вот так пока что - /*?sort=*
Что скажите ?

[Globitex]

Пример 8. Итоговый пример файла robots.txt

User-agent: * #Запрет индексации папок cgi и images для всех поисковиков
Disallow: /cgi/
Disallow: /images/

User-agent: Google #Запрет индексации файлов myfile1.htm и myfile2.htm для Google
Disallow: /myfile1.htm
Disallow: /myfile2.htm

User-agent: * #Запрет индексации файлов spisok.php и vsakaya-fignya.php для всех поисковиков
Disallow: /spisok.php
Disallow: /vsakaya-fignya.php

User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок с переменной sl


Пробуй