Вопрос по robots.txt

(Ответов: 3, Просмотров: 339)
  1. Дипломник Аватар для chubays
    • Регистрация: 02.11.2011
    • Сообщений: 176
    • Репутация: 14
    • Webmoney BL: ?
    На вордпресс-сайте образовалось много дублей типа _http://site.ru/category/blablabla.html/398 Т.е все дубли имеют копию урл оригинальной страницы, только в самом конце стоит слэш и произвольное число.

    Как закрыть их от индексации? Спасибо!
    Заказываю тексты для своих сайтов только здесь!
    • 0
  2. Рождённый в СССР Аватар для Gann
    • Регистрация: 30.04.2012
    • Сообщений: 1,073
    • Репутация: 310
    chubays, впишите в роботс строчку:

    Disallow: *html/*

    тогда будет разрешено к индексации:

    /category/blablabla.html
    /blablabla.html
    /category/blablabla

    а запрещено:

    /category/blablabla.html/398
    /blablabla.html/398
    /blablabla.html/456
    • 2

    Спасибо сказали:

    chubays(14.01.2016), nn165m(14.01.2016),
  3. Дипломник Аватар для chubays
    • Регистрация: 02.11.2011
    • Сообщений: 176
    • Репутация: 14
    • Webmoney BL: ?
    Большое спасибо, вроде работает!
    Заказываю тексты для своих сайтов только здесь!
    • 0
  4. Студент Аватар для Fullenergy
    • Регистрация: 21.09.2015
    • Сообщений: 40
    • Репутация: 7
    • Webmoney BL: ?
    chubays, лучше такие страницы закрывать мета-роботс nofollow noindex
    • 1

    Спасибо сказали:

    chubays(14.01.2016),

Тэги топика:

Похожие темы

Темы Раздел Ответов Последний пост
Вопрос о закрытии в robots.txt
Вопросы от новичков 4 18.03.2014 19:09
Вопрос по Robots.txt
Вопросы от новичков 5 24.04.2013 11:59
Вопрос по robots.txt
Вопросы от новичков 2 04.11.2012 01:23
robots.txt вопрос
Вопросы от новичков 14 17.07.2012 18:37
Вопрос по robots.txt
Вопросы от новичков 3 10.01.2011 19:29

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры