Подскажите, как закрыть от индексации в robots.txt страницы типа
site.com/category/news/page/4/ , чтобы при этом открытой осталась страница site.com/category/news/ ?
Пробовал Disallow: */page/*/ , но не проканало, в сёрч консоле гугла в разделе проверки robots.txt все равно показывает, что страница site.com/category/news/page/4/ доступна для индексации.
- 15.01.2016 01:38
- Регистрация: 23.11.2015
- Сообщений: 209
- Репутация: 59
- 15.01.2016 01:56
А такой вариант пробовали Disallow: /*/page/* ?
Спасибо сказали:
atteizzt(15.01.2016), - 15.01.2016 01:59
- Регистрация: 23.11.2015
- Сообщений: 209
- Репутация: 59
- 15.01.2016 10:10
лучше подобные страницы закрывать мета роботс ноиндекс нофолоу)
- 15.01.2016 13:00
- Регистрация: 23.11.2015
- Сообщений: 209
- Репутация: 59
- 19.01.2016 14:05
- Регистрация: 19.01.2016
- Сообщений: 6
- Репутация: 0
Здравствуйте!
Помогите, пожалуйста, по настройке robots.txt
В роботсе закрыт от индексации раздел upload
Однако подразделы всё равно добавляются в Яндекс и индексируются. Например: /upload/el_snabpgz/, /upload/resize_cache/iblock/117/, /upload/trac_diesel/ (По результатам анализа в Majento последние 10 документов, добавленные поисковой системой Яндекс в свою базу данных). Не придумала ничего лучше, как сделать с них 301 редирект, но хочется, чтобы в дальнейшем такие документы вообще не индексировались.Disallow: /upload*
Подскажите, пожалуйста, как их закрыть в robots.txt - 19.01.2016 14:17
Вместо звездочки поставить / ? Disallow: /upload/
- 19.01.2016 16:54
- Регистрация: 19.01.2016
- Сообщений: 6
- Репутация: 0
Спасибо за ответ! Там раньше так было, но подразделы upload всё равно индексировались (В в 404 Яндексмастера лежат страницы /upload/resize_cache/iblock/d7c/, /upload/resize_cache/iblock/d7c/450_450_07dc92061a6e3e2f96cb81f9b73116b56/, я их запретила в robots.txt, но из Вебмастера они пока не исчезли).
Может вот так попробовать?
Disallow: /upload/*
P.S. Сложно мне понять этот роботс..Вот тут например:
Раздел bitrix запрещен, а его подраздел templates разрешен. То есть получается, если я раздел upload запрещу, то не факт, что его подразделы тоже будут запрещены? Поэтому хочу в роботсе как-то прописать, чтобы был запрещен раздел и все подразделы. Скажите, пожалуйста, можно ли так сделать?Allow: /bitrix/templates/
Disallow: /bitrix/ - 19.01.2016 17:20
Irina735, так Вы проверяйте все подразделы и разделы в анализа роботса в я.вебмастера и все сразу станет ясно, что яндекс будет индексировать, а что нет _https://webmaster.yandex.ru/robots.xml
Спасибо сказали:
Irina735(20.01.2016), - 20.01.2016 11:20
- Регистрация: 19.01.2016
- Сообщений: 6
- Репутация: 0
Спасибо большое!)) Теперь вижу, что подразделы тоже не индексируются
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
Закрыть от индексации страницы | WordPress | 7 | 27.02.2015 20:10 |
Закрыть зеркало от индексации. | Вопросы от новичков | 7 | 08.11.2013 10:55 |
Как закрыть от индексации внешние ссылки на сотнях страниц | Joomla | 10 | 03.09.2013 17:12 |
Закрыть от индексации страницу | Общие вопросы поисковой оптимизации | 47 | 13.11.2011 12:28 |