Как такой тип страниц закрыть от индексации?

(Ответов: 9, Просмотров: 1276)
  1. Дипломник
    • Регистрация: 23.11.2015
    • Сообщений: 209
    • Репутация: 59
    Подскажите, как закрыть от индексации в robots.txt страницы типа

    site.com/category/news/page/4/ , чтобы при этом открытой осталась страница site.com/category/news/ ?
    Пробовал Disallow: */page/*/ , но не проканало, в сёрч консоле гугла в разделе проверки robots.txt все равно показывает, что страница site.com/category/news/page/4/ доступна для индексации.
    • 0
  2. Опытный старожил) Аватар для vovasit91
    • Регистрация: 07.08.2011
    • Сообщений: 686
    • Репутация: 235
    • Webmoney BL: ?
    А такой вариант пробовали Disallow: /*/page/* ?
    • 1

    Спасибо сказали:

    atteizzt(15.01.2016),
  3. Дипломник
    • Регистрация: 23.11.2015
    • Сообщений: 209
    • Репутация: 59
    Цитата Сообщение от vovasit91 Посмотреть сообщение
    А такой вариант пробовали Disallow: /*/page/* ?
    Таки да, помогло, спасибо!
    • 0
  4. Студент Аватар для Fullenergy
    • Регистрация: 21.09.2015
    • Сообщений: 40
    • Репутация: 7
    • Webmoney BL: ?
    лучше подобные страницы закрывать мета роботс ноиндекс нофолоу)
    • 0
  5. Дипломник
    • Регистрация: 23.11.2015
    • Сообщений: 209
    • Репутация: 59
    Цитата Сообщение от Fullenergy Посмотреть сообщение
    лучше подобные страницы закрывать мета роботс ноиндекс нофолоу)
    Флудить изволите?
    PS: Расскажите в нескольких словах, каким образом подобные страницы site.com/category/news/page/4/ закрывать мета роботс ноиндекс нофолоу в Wordpress?
    • 0
  6. Новичок
    • Регистрация: 19.01.2016
    • Сообщений: 6
    • Репутация: 0
    Здравствуйте!

    Помогите, пожалуйста, по настройке robots.txt

    В роботсе закрыт от индексации раздел upload

    Disallow: /upload*
    Однако подразделы всё равно добавляются в Яндекс и индексируются. Например: /upload/el_snabpgz/, /upload/resize_cache/iblock/117/, /upload/trac_diesel/ (По результатам анализа в Majento последние 10 документов, добавленные поисковой системой Яндекс в свою базу данных). Не придумала ничего лучше, как сделать с них 301 редирект, но хочется, чтобы в дальнейшем такие документы вообще не индексировались.

    Подскажите, пожалуйста, как их закрыть в robots.txt
    • 0
  7. Гуру Аватар для Septik
    • Регистрация: 03.04.2010
    • Сообщений: 790
    • Репутация: 168
    • Webmoney BL: ?
    Вместо звездочки поставить / ? Disallow: /upload/
    • 0
  8. Новичок
    • Регистрация: 19.01.2016
    • Сообщений: 6
    • Репутация: 0
    Спасибо за ответ! Там раньше так было, но подразделы upload всё равно индексировались (В в 404 Яндексмастера лежат страницы /upload/resize_cache/iblock/d7c/, /upload/resize_cache/iblock/d7c/450_450_07dc92061a6e3e2f96cb81f9b73116b56/, я их запретила в robots.txt, но из Вебмастера они пока не исчезли).

    Может вот так попробовать?

    Disallow: /upload/*

    P.S. Сложно мне понять этот роботс..Вот тут например:

    Allow: /bitrix/templates/
    Disallow: /bitrix/
    Раздел bitrix запрещен, а его подраздел templates разрешен. То есть получается, если я раздел upload запрещу, то не факт, что его подразделы тоже будут запрещены? Поэтому хочу в роботсе как-то прописать, чтобы был запрещен раздел и все подразделы. Скажите, пожалуйста, можно ли так сделать?
    • 0
  9. Гуру Аватар для Septik
    • Регистрация: 03.04.2010
    • Сообщений: 790
    • Репутация: 168
    • Webmoney BL: ?
    Irina735, так Вы проверяйте все подразделы и разделы в анализа роботса в я.вебмастера и все сразу станет ясно, что яндекс будет индексировать, а что нет _https://webmaster.yandex.ru/robots.xml
    • 1

    Спасибо сказали:

    Irina735(20.01.2016),
  10. Новичок
    • Регистрация: 19.01.2016
    • Сообщений: 6
    • Репутация: 0
    Спасибо большое!)) Теперь вижу, что подразделы тоже не индексируются
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Закрыть от индексации страницы
WordPress 7 27.02.2015 20:10
Закрыть зеркало от индексации.
Вопросы от новичков 7 08.11.2013 10:55
Как закрыть от индексации внешние ссылки на сотнях страниц
Joomla 10 03.09.2013 17:12
Закрыть от индексации страницу
Общие вопросы поисковой оптимизации 47 13.11.2011 12:28

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры