robots.txt открытие страниц для индексации

(Ответов: 4, Просмотров: 960)
  1. Опытный Аватар для andrei_z
    • Регистрация: 08.02.2012
    • Сообщений: 323
    • Репутация: 58
    На сайте страницы такого вида
    Код:
    article
    article?page=0
    article?page=1
    article?page=2
    и первой страницы есть дубль
    Код:
    article
    article?page=0
    эти ссылки ведут на одну страницу

    в robots.txt пишу
    Код:
     Disallow: /*?page=0
     Allow: /*?page=*
    в яндексе все отлично
    article - открыта для индексации
    article?page=0 - закрыта для индексации
    article?page=1 - открыта для индексации
    article?page=2 - открыта для индексации

    Но гугл, проверка robots.txt в гугле говорит что робот проиндексирует все страницы.
    Как закрыть article?page=0 от гугла?
    • 0
  2. Опытный Аватар для redeyer
    • Регистрация: 07.01.2015
    • Сообщений: 498
    • Репутация: 187
    • Webmoney BL: ?
    andrei_z, гугл знак вопроса воспринимает как спецсимвол (по аналогии с *)

    Знак ? обозначает идентификатор сеанса. Следует исключить URL с этим символом, чтобы робот Googlebot не сканировал повторяющиеся страницы.
    https://support.google.com/webmaster..._topic=6061961

    Что-то даже сам не пойму как вам нужно указать чтобы добиться того что нужно. Возможно надо как-то экранировать знак вопроса. Я бы вообще смотрел в сторону какого-либо ЧПУ.
    Последний раз редактировалось redeyer; 05.05.2015 в 14:20.
    • 0
  3. Новичок Аватар для Kurses
    • Регистрация: 17.04.2015
    • Сообщений: 25
    • Репутация: 3
    redeyer, что же Вы дали ссылку и пишите что не знаете как сделать. На странице же об этом написано:

    Чтобы заблокировать доступ ко всем URL, содержащим вопросительный знак (?), используйте этот пример. Здесь блокируются URL, которые начинаются с имени домена и содержат вопросительный знак.

    User-agent: Googlebot
    Disallow: /*?

    Даже не знал что гугл воспринимает ? не так как думалось, я то думаю почему до сих пор он ходит по старым страницам без ЧПУ. Спасибо за посдказку!
    • 0
  4. Опытный Аватар для redeyer
    • Регистрация: 07.01.2015
    • Сообщений: 498
    • Репутация: 187
    • Webmoney BL: ?
    Цитата Сообщение от Kurses Посмотреть сообщение
    redeyer, что же Вы дали ссылку и пишите что не знаете как сделать.
    Потому что не вникал в примеры.
    • 0
  5. Студент Аватар для sky-fi
    • Регистрация: 24.01.2014
    • Сообщений: 97
    • Репутация: 22
    • Webmoney BL: ?
    Попробуйте 301-м перенаправить article?page=0 на article. И не придется ничего в роботсе химичить.
    Ну и если что, зачем вам этот "?" сдался? Пропишите Disallow: /*page=0.
    • 1

    Спасибо сказали:

    redeyer(06.05.2015),

Похожие темы

Темы Раздел Ответов Последний пост
Проверка индексации ваших страниц в Яндексе
Free софт от webmasters.ru 11 15.02.2015 23:44
Закрыть от индексации в robots.txt
Общие вопросы поисковой оптимизации 9 12.11.2013 18:34
robots мешает индексации?
Общие вопросы поисковой оптимизации 12 09.03.2013 14:57
Как открыть 1 страничку для индексации в robots?
Общие вопросы поисковой оптимизации 4 10.09.2012 20:29
Проблемы с индексации и Robots.txt
Вопросы от новичков 15 05.05.2012 22:02

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры