[svetocopy]

Здравствуйте. Есть сайт на котором много дублей страниц.
Нужно оставить в индексе такие страницы
блабла.com/hateke-takashi-hd-desktop-wallpaper.html
А убрать
блабла.com/hateke-takashi-hd-desktop-wallpaper.html/hateke-takashi-hd-desktop-wallpaper
Возможно это сделать в с помощью манипуляций в роботсе?

[Dezm]

лучше сделать 301 редирект с блабла.com/hateke-takashi-hd-desktop-wallpaper.html/hateke-takashi-hd-desktop-wallpaper на блабла.com/hateke-takashi-hd-desktop-wallpaper.html

[Fish_su]

Здравствуйте. Есть сайт на котором много дублей страниц.
Нужно оставить в индексе такие страницы
блабла.com/hateke-takashi-hd-desktop-wallpaper.html
А убрать
блабла.com/hateke-takashi-hd-desktop-wallpaper.html/hateke-takashi-hd-desktop-wallpaper
Возможно это сделать в с помощью манипуляций в роботсе?

Необходимо уточнение, все ваши дубли начинаются с /hateke-takashi-hd-desktop-wallpaper или все дубли имеют копию УРЛ оригинальной страницы?

[svetocopy]

Fish_su,Все дубли имеют копию урл оригинальной страницы, только в самом конце без .html

---------- Сообщение добавлено 14:09 ---------- Предыдущее 12:36 ----------

Dezm, Можно поподробней? на сайте таких дублей около 4 тыс.

[Fish_su]

svetocopy, Ну с помощью роботса вы такую проблему не решите, да и необходимости в этом нет. В роботсе принято закрывать от индексации те адреса страниц, которые на сайте в любом случае должны быть, но их индексация нежелательна. Например, это могут быть страницы фильтра товаров в интернет-магазине, страницы административной панели сайта и т.п. В данном случае страницы (дубли) никакой смысловой нагрузки не несут и их наличие на сайте ничем не обосновано. Следовательно, просто найдите проблему в настройках своей CMS, которая штампует дубли и устраните ее. Таким образом эти страницы просто исчезнут и будут возвращать 404 ошибку. Со временем они просто вылетят из индекса и все.