[dolem]

Всем привет!
Возникла проблемка.

Я тут заметила,что у меня индексируются страницы и теги - вот такое в индексе _site.ru/page/7/, ну и теги соответственно. И это при том, что в robots.txt у меня прописано так:
User-agent: *
Disallow: /page/
Disallow: /tag/

Решила для Яндекса отдельно запретить
User-agent: Yandex
Disallow: /page/
Disallow: /tag/

Но после того, как прописала это отдельно для Яндекса, он еще новые теги проиндексировал.
Возникает вопрос: я что-то неправильно указала в robots? или причина еще в чем-то может быть?

[Avot]

лишний слэш в конце, вот так надо: Disallow: /page

[dolem]

Avot, а для тега тоже лишний слеш? получается так надо /tag ?

[Avot]

dolem, да

[m@rs]

Спрошу тут, почти по теме

как открыть к индексации мтраницы с комментариями типа:
/comment-page-1/
/comment-page-2/
/comment-page-3/

а остальные комментарии закрыть
типа таких:
#comment-3674

и как проверить действительно ли страница открыта/закрыта к индексации, нет ли ошибок, может есть какой либо сервис?

[sanya pro]

dolem, У Александра Алеева можете посмотреть:
_http://alaev.info/blog/post/3900

[Павел Joofaq]

а остальные комментарии закрыть
типа таких:
#comment-3674

Страницы со знаком "#" и так не индексируются поисковиками, насколько мне известно.

А для того, чтобы открыть страницы одного типа, попробуйте так: Allow: /*comment-page-