Как закрыть теги и страницы

(Ответов: 6, Просмотров: 766)
  1. Студент Аватар для dolem
    • Регистрация: 17.05.2012
    • Сообщений: 58
    • Репутация: 2
    Всем привет!
    Возникла проблемка.

    Я тут заметила,что у меня индексируются страницы и теги - вот такое в индексе _site.ru/page/7/, ну и теги соответственно. И это при том, что в robots.txt у меня прописано так:
    User-agent: *
    Disallow: /page/
    Disallow: /tag/

    Решила для Яндекса отдельно запретить
    User-agent: Yandex
    Disallow: /page/
    Disallow: /tag/

    Но после того, как прописала это отдельно для Яндекса, он еще новые теги проиндексировал.
    Возникает вопрос: я что-то неправильно указала в robots? или причина еще в чем-то может быть?
    • 0
  2. shit happens Аватар для Avot
    • Регистрация: 17.12.2012
    • Сообщений: 407
    • Репутация: 167
    лишний слэш в конце, вот так надо: Disallow: /page
    • 1

    Спасибо сказали:

    dolem(06.02.2013),
  3. Студент Аватар для dolem
    • Регистрация: 17.05.2012
    • Сообщений: 58
    • Репутация: 2
    Avot, а для тега тоже лишний слеш? получается так надо /tag ?
    • 0
  4. shit happens Аватар для Avot
    • Регистрация: 17.12.2012
    • Сообщений: 407
    • Репутация: 167
    dolem, да
    • 0
  5. Гуру Аватар для m@rs
    • Регистрация: 09.11.2011
    • Сообщений: 500
    • Репутация: 126
    • Webmoney BL: ?
    Спрошу тут, почти по теме

    как открыть к индексации мтраницы с комментариями типа:
    /comment-page-1/
    /comment-page-2/
    /comment-page-3/

    а остальные комментарии закрыть
    типа таких:
    #comment-3674

    и как проверить действительно ли страница открыта/закрыта к индексации, нет ли ошибок, может есть какой либо сервис?
    Рерайт от 10 руб Здесь
    • 0
  6. Студент Аватар для sanya pro
    • Регистрация: 28.02.2009
    • Сообщений: 87
    • Репутация: 25
    dolem, У Александра Алеева можете посмотреть:
    _http://alaev.info/blog/post/3900
    • 1

    Спасибо сказали:

    dolem(06.02.2013),
  7. Работаем с Shop-Script Аватар для Павел Joofaq
    • Регистрация: 13.05.2011
    • Сообщений: 914
    • Репутация: 277
    • Webmoney BL: ?
    Цитата Сообщение от m@rs Посмотреть сообщение
    а остальные комментарии закрыть
    типа таких:
    #comment-3674
    Страницы со знаком "#" и так не индексируются поисковиками, насколько мне известно.

    А для того, чтобы открыть страницы одного типа, попробуйте так: Allow: /*comment-page-
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Как закрыть от индексации страницы от поисковых роботов?
Общие вопросы поисковой оптимизации 9 24.11.2012 13:23
Подскажите куда вставить теги в коде страницы для адсенс
PPC и контекстная реклама 0 12.04.2012 21:06
Как закрыть от индексации такие страницы?
Вопросы от новичков 2 10.02.2012 14:06

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры