[Баяс]

Уважаемые знатоки! Помогите советом! Яндекс неожиданно проиндексировал огромное количество дублей только одной моей статьи. Как их закрыть в роботсе или другим образом? Все дубли с цифрами на конце. Вот такого вида:

Как вывести популярные статьи в сайдбар | Блог Баяса Батуева - Part 760
bbseo.ru/kak-vyvesti-populyarnye-stati-v-sajdbar.html/760

[Matsa]

Если требуется исключить дубли только у этой статьи то можно так

Код:

Disallow: /kak-vyvesti-populyarnye-stati-v-sajdbar.html/

[Баяс]

Disallow: /kak-vyvesti-populyarnye-stati-v-sajdbar.html/

Но таким образом закроется сам оригинал статьи, а мне нужно удалить дубли, которые с цифрами на конце.

[zhurik]

rel=canonical настроен неправильно, сам на себя. Ковыряйтесь с SEO плагинами - там че то неправильно видимо сделали.

[Matsa]

Но таким образом закроется сам оригинал статьи, а мне нужно удалить дубли, которые с цифрами на конце.

Строка

Код:

 Disallow: /kak-vyvesti-populyarnye-stati-v-sajdbar.html/

не запрещает индексацию страницы
bbseo.ru/kak-vyvesti-populyarnye-stati-v-sajdbar.html

если не верите, воспользуйтесь сервисом яндекса проверки роботса
_https://webmaster.yandex.ru/robots.xml

[Баяс]

если не верите, воспользуйтесь сервисом яндекса проверки роботса
_https://webmaster.yandex.ru/robots.xml

И действительно, разрешен. Что-то я совсем запутался. Ведь значение Disallow запрещает индексировать, почему же в этом случае разрешено? И второй вопрос: если я сделаю так, как вы советуете, почему этот же URL, но с цифрами в конце, не будет индексироваться? Можно как-нибудь попроще объяснить, а то казенный язык я трудно воспринимаю. Заранее спасибо.

[Cyrus]

Баяс, адрес оригинальной страницы - bbseo.ru/kak-vyvesti-populyarnye-stati-v-sajdbar.html (без слеша на конце). В правиле

Код:

Disallow: /kak-vyvesti-populyarnye-stati-v-sajdbar.html/

запрещены все адреса начинающиеся на bbseo.ru/kak-vyvesti-populyarnye-stati-v-sajdbar.html/ (со слешем на конце). Так как в исходном (оригинальном) адресе нет слеша в конце, она не соответствует этому запрещающему правилу и, следовательно, оно на неё не действует, что нельзя сказать о её дублях.
Но я бы прислушался к совету zhurik и разбирался с плагином, который неправильно расставляет атрибут rel=canonical, так как данное правило в robots.txt закроет дубли только одной единственной статьи и нет гарантий что такая ошибка не повторится вновь уже с другими страницами сайта.

[Баяс]

запрещены все адреса начинающиеся на bbseo.ru/kak-vyvesti-populyarnye-stati-v-sajdbar.html/ (со слешем на конце). Так как в исходном (оригинальном) адресе нет слеша в конце, она не соответствует этому запрещающему правилу и, следовательно, оно на неё не действует, что нельзя сказать о её дублях.
Но я бы прислушался к совету zhurik и разбирался с плагином, который неправильно расставляет атрибут rel=canonical, так как данное правило в robots.txt закроет дубли только одной единственной статьи и нет гарантий что такая ошибка не повторится вновь уже с другими страницами сайта.

Супер. Все просто и логично. Спасибо всем.

[web-ber]

Disallow: /kak-vyvesti-populyarnye-stati-v-sajdbar.html/ ---- так не айс

Disallow: /*.html/* ------------ так айс

[pyramida]

rel=canonical настроен неправильно, сам на себя.

Так сделано у 100500 сайтов и работает. В этом ничего нет плохого :)

---------- Сообщение добавлено 13:48 ---------- Предыдущее 13:46 ----------

Баяс, лучше выяснить откуда они берутся. Если не хочется потом 100500 таких же с других страниц в роботс закрывать. Кстати, а что с гуглом делать будете? Для него закрыть в роботс, не значит выкинуть из индекса. Это только в яше так работает, закрыл и вылетело.