[Tevton]

Приветствую, коллеги.
Вопрос такой... Есть сайт на битриксе. Генерит кучу урлов, типа
_http://site.ru/catalog/elektricheskie-pechi/?show=80
Насколько я понимаю, это лучше спрятать от поисковиков, дабы дублей не плодилось, контент ведь тот же. Синтаксис правильный?

Disallow: /?show=


И второй вопрос. Так же есть параметры /?adaptive=false , /?adaptive=true
В строках браузера его не видно, но Netpeak Spider его находит. Стоит ли спрятать это от поисковика? И синтаксис подскажите .пожалуйста, если стоит прятать

Корзину так же лучше спрятать? Как бы для целей и прочего, может и полезно. Но ведь для поисковика корзина всегда пустая...
/basket/

[Gann]

Tevton, доброго дня!

Нет, не правильно.

Для исключения _http://site.ru/catalog/elektricheskie-pechi/?show=80 надо в роботс добавить:
Disallow: *?show=

Аналогично для остального:

Disallow: *?adaptive=

Если контент на страницах одинаковый, то прячьте.

[MaxPlaton]

Gann, прошу прощения, подскажите насчет синтаксиса:
вот вы указали выше, что вместо / надо прописать *
я вот здесь _https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml не нашел ничего про это..
не объясните подробно? спасибо

[Gann]

MaxPlaton,

ну как же?! Вот здесь https://yandex.ru/support/webmaster/...sterisk-dollar написано про эти символы. Раздел прямо так и называется "Использование спецсимволов * и $".

Цитирую:

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
# и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'

[MaxPlaton]

Gann, да но / то все равно указывается..
получается примерно как-то так: Disallow: /*?show=
я вот со / не понимаю вашу логику

---------- Сообщение добавлено 17:03 ---------- Предыдущее 17:02 ----------

вернее все-таки так Disallow: /?show=

---------- Сообщение добавлено 17:05 ---------- Предыдущее 17:03 ----------

или это типа сократить другие возможные варианты с show?

[Gann]

MaxPlaton, да не моя это логика, а правила Яндекса) (вернее - правила не Яндекса, а правила обработки файла robots.txt)

Деректива, которую вы указываете

Disallow: /?show=

будет запрещать только

_http://site.ru/?show=

А вот деректива

Disallow: *?show=

запретит индексирование

/catalog/elektricheskie-pechi/?show=23, /catalog/?show=345, /elektricheskie-pechi/?show=56546 и /?show=456546

п.с. у вас сайт в Яндекс.Вебмастер добавлен? Или в "Инструменты для вебмастеров" от Google? Там есть инструменты "Анализ robots.txt". Попробуйте сами... поиграйтесь с настройками)

[MaxPlaton]

Gann, обязательно сегодня поиграюсь)

[umarkt-stepanov@yandex.ru]

Работу настроек роботса лучше потом проверить в вебмастере яндекс в разделе "Настройка индексирования" ->"Анализ robots.txt"
там можно ввести пачку нужных/ненужных для индексации урлов и проверить будут ли они индексироваться или нет.

[_DXlink]

Для Битрикса закрывайте все урлы со знаком вопроса от индексации. Кроме постраничной навигации, если вы не привели её к нормальному виду.

Allow: /*?PAGEN_1=*

Ну и всякие нужные урлы можно исключить, хотя ЦМС позволяет полностью отказаться от ? в адресах.

[Tevton]

Спасибо за советы!

Последний вопрос остался))) Нужно ли убирать adaptive=true, adaptive=fаlse

Как бы контент тотже самый, и в выдаче его не видно. Но Вот Netpeak Spider эти урлы находит...