Все привет.
У нас сайте многие страницы дублируются из-за множественных переписок типа: ?...
Например:
mysite.ru /?url=noredirect
mysite.ru/?source_type={STYPE}&source={SRC}
И такие дубли находятся в индексе.
Сайт старый, появилось еще до меня.
Хочу запретить к индексу все дубли страниц, у которых есть приписка «?» (т.е. означающая что дальше пойдет какй-то id-шник или метка).
Это можно сделать через robots.txt ?
Закрывать нужно через Disallow?
Пример:
User-agent : *
Disallow: /?
Или через Clean-param?
Пример:
User-agent : *
Clean-param: ?
Вопрос по robots.txt (как закрыть от индекса приписки идентификаторов /?...)
(Ответов: 1, Просмотров: 407)
- 23.04.2017 20:09
- Регистрация: 21.07.2014
- Сообщений: 207
- Репутация: 7
- 23.04.2017 21:37
rownong,Попробуйте закрыть так
Код HTML:и потом в вебмастере проверьте все ли нужные страницы запрещены к индексированию.Disallow: /*?*
Тэги топика:
- clean-param,
- disallow,
- mysite,
- robots,
- user-agent,
- вопрос,
- дубль,
- закрыть,
- идентификатор,
- индекс,
- пример,
- приписка,
- сайт,
- страница
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
как закрыть страницы в robots.txt | Вопросы от новичков | 5 | 13.08.2015 12:39 |
Помогите закрыть соц.кнопки от индекса. | Вопросы от новичков | 6 | 08.07.2015 19:39 |
Закрыть от индексации в robots.txt | Общие вопросы поисковой оптимизации | 9 | 12.11.2013 18:34 |
помогите закрыть страницу в robots.txt | Вопросы от новичков | 3 | 29.03.2012 16:03 |
Что закрыть в robots.txt для bbPress? | Вопросы от новичков | 1 | 15.03.2012 15:53 |