[forestdc]

Всем привет! Ребят подскажите если кто знает что делать. Есть сайт на drupal, и его страницы есть в поисковиках, и буквально вчера заметил что в индексе есть ссылки на материал системного вида /node/41. Модули global redirect и pathauto включены и работают как надо. Читал что нужно что то изменить в robots.txt, но я в нем что то ничего не понял.

[pyramida]

forestdc, редиректы с этих страниц есть на ЧПУ? Под какую ПС?

[efs]

если вы хотите просто исключить из индекса эти дубли, то добавить в robots.txt

Код:

Disallow: /node/*

[Posting_i_PIAR]

forestdc, посмотрите, какие именно это страницы и что происходит после перехода по ним. Если просто дубли - то закройте в роботсе, как выше сказали.

[mojwp]

robots.txt только для яндекса.
google через панель задайте http://prntscr.com/7shwsf

а вообще, можете через

Код:

<meta name="robots" content="noindex" />

прикрыть все страницы по признаку. К сожалению, не знаю как на вашем движке это точно сделать, но на wordpress пример вот так будет http://mojwp.ru/robots-noindex-priznak-v-url.html

[Aleg_1990]

Нашел нужную тему но так и не понял что лучше, поэтому немного переформулирую вопрос ТС. Как правильнее всего устранить дубли?

1. Редирект 301 на ЧПУ. Это делает модуль global redirect.
2. rel="сanonical". Это делает вроде модуль path по умолчанию
3. noindex в robots.txt
4. noindex в мета-тэге

[kuzmi4]

1. Если страниц мало и если есть возможность, то: noindex в мета-тэге
2. Запретить страницы в robots.txt и дополнительно удалить в ручную в яндексе и в гугле - скорей всего ваш вариант.
3. Если на этих страницах есть траф (может быть такое), то лучше 301 редирект.
rel="сanonical" - тоже, со временем уберет страницы из индекса, т.е. можно использовать. Но он создан не для этого.