Как убрать из индекса пс нечистые url

(Ответов: 6, Просмотров: 939)
  1. Студент Аватар для forestdc
    • Регистрация: 13.03.2012
    • Сообщений: 62
    • Репутация: 3
    • Webmoney BL: ?
    Всем привет! Ребят подскажите если кто знает что делать. Есть сайт на drupal, и его страницы есть в поисковиках, и буквально вчера заметил что в индексе есть ссылки на материал системного вида /node/41. Модули global redirect и pathauto включены и работают как надо. Читал что нужно что то изменить в robots.txt, но я в нем что то ничего не понял.
    • 0
  2. Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,814
    • Репутация: 251
    forestdc, редиректы с этих страниц есть на ЧПУ? Под какую ПС?
    • 0
  3. Дипломник Аватар для efs
    • Регистрация: 17.11.2013
    • Сообщений: 211
    • Репутация: 46
    если вы хотите просто исключить из индекса эти дубли, то добавить в robots.txt
    Код:
    Disallow: /node/*
    • 0
  4. Дипломник
    • Регистрация: 12.10.2010
    • Сообщений: 221
    • Репутация: 20
    forestdc, посмотрите, какие именно это страницы и что происходит после перехода по ним. Если просто дубли - то закройте в роботсе, как выше сказали.
    • 0
  5. WP-R.ru - магазин WP Аватар для mojwp
    • Регистрация: 13.09.2011
    • Сообщений: 841
    • Репутация: 290
    • Webmoney BL: ?
    robots.txt только для яндекса.
    google через панель задайте http://prntscr.com/7shwsf

    а вообще, можете через
    Код:
    <meta name="robots" content="noindex" />
    прикрыть все страницы по признаку. К сожалению, не знаю как на вашем движке это точно сделать, но на wordpress пример вот так будет http://mojwp.ru/robots-noindex-priznak-v-url.html
    • 0
  6. Новичок
    • Регистрация: 02.09.2015
    • Сообщений: 6
    • Репутация: 3
    Нашел нужную тему но так и не понял что лучше, поэтому немного переформулирую вопрос ТС. Как правильнее всего устранить дубли?
    1. Редирект 301 на ЧПУ. Это делает модуль global redirect.
    2. rel="сanonical". Это делает вроде модуль path по умолчанию
    3. noindex в robots.txt
    4. noindex в мета-тэге
    • 0
  7. Гуру Аватар для kuzmi4
    • Регистрация: 26.02.2014
    • Сообщений: 525
    • Репутация: 104
    • Webmoney BL: ?
    1. Если страниц мало и если есть возможность, то: noindex в мета-тэге
    2. Запретить страницы в robots.txt и дополнительно удалить в ручную в яндексе и в гугле - скорей всего ваш вариант.
    3. Если на этих страницах есть траф (может быть такое), то лучше 301 редирект.
    rel="сanonical" - тоже, со временем уберет страницы из индекса, т.е. можно использовать. Но он создан не для этого.
    Последний раз редактировалось kuzmi4; 17.10.2015 в 21:17.
    • 1

    Спасибо сказали:

    Aleg_1990(18.10.2015),

Похожие темы

Темы Раздел Ответов Последний пост
Сайт выпал с индекса Яши
Вопросы от новичков 21 03.04.2013 15:44
Как убрать из индекса ненужные страницы
Вопросы от новичков 1 13.02.2013 11:44
Как убрать якорь #more и можно ли убрать отображение изображений с пота с короткой новости?
WordPress 2 28.05.2012 14:17
Вылет из индекса
Поисковые системы 18 02.08.2011 13:03

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры