Вопрос насчет robots.txt...

[Dancan]

Приветствую всех. Что-то у меня забралось сомнение насчет одной настройки блокирования от индексации страниц в robots.txt
Подскажите!

Имеется 2 страницы к примеру вот с такой вложенностью:
http://Site.ru/catalog/tovar1
http://Site.ru/catalog/tovar1/brend

Если я пропишу в robots.txt
Disallow: http://Site.ru/catalog/tovar1/*

Это запретит доступ к страницам типа:
http://Site.ru/catalog/tovar1/brend
http://Site.ru/catalog/tovar1/brend2
http://Site.ru/catalog/tovar1/brend/343
http://Site.ru/catalog/tovar1/brend34/5434

В вот доступ к странице
http://Site.ru/catalog/tovar1

останется ли?

[Matsa]

1. Вы не правильно пишите путь. Нужно писать от корня сайта, вот так
Disallow: /catalog/tovar1/*

2. Директива Disallow сама по себе "жаная", т е написав /catalog/tovar1/, это будет подразумевать и /catalog/tovar1/123 и /catalog/tovar1/qwe, т е * писать не надо
Disallow: /catalog/tovar1/

3. Правило Disallow: /catalog/tovar1/ не запретит индексировать адрес Disallow: /catalog/tovar1, однако так поступать я не рекомендую. Лучше запретить индексировать таким правилом Disallow: /catalog/tovar1, но разрешить индексировать нужный урл директивой Allow:

Disallow: /catalog/tovar1
Allow: /catalog/tovar1$

Хотя если напишите
Disallow: /catalog/tovar1/

работать тоже будет

[Rush Agency]

Dancan, Dancan,
1. Верное замечание от Matsa, вы не правильно пишите директивы robots.txt.
Рекомендуем изучить:
http://www.myrobotstxt.ru/page/struk...ajla-robotstxt
http://www.myrobotstxt.ru/page/naibo...ki-v-robotstxt
2. Вы можете узнать как робот будет учитывать директивы с помощью инструмента https://webmaster.yandex.ru/robots.xml.