[babytype]

Если нужно закрыть все под домены, вот такой вариант сработает если в роботс прописать?
Disallow: *.site.ru

[Леонид Каруна]

Если поддомен находится в подкаталоге, то так:

Код HTML:

User-agent: *
Disallow: /dir/

Либо сделать редикт через htaccess

[VulkanPartner]

babytype, да, должно сработать!
Леонид Каруна, какая разница, где физически находится поддомен, в каталоге или нет, если робот его видят как поддомен?! Вашим примером вы запретите только индексацию каталога /dir/, но не поддомена... и да, а если поддоменов 100, или 1000? их все по очереди прописывать? babytype сам ответил на свой вопрос )

[Леонид Каруна]

Этим я блокирую весь каталог сайта, на котором лежат домены, я знаю я делал, ваше мнение недостоверно.

[VulkanPartner]

Этим я блокирую весь каталог сайта, на котором лежат домены, я знаю я делал, ваше мнение недостоверно.

ОК, то есть (при условии, что поддомен dir фактически расположен в каталоге /dir/) вы хотите сказать, что такая запись в robots.txt

Код HTML:

User-agent: *
Disallow: /dir/

запрещает роботам индексировать поддомен http://dir.domain.com ?

[Bakalov]

VulkanPartner, последней директивой вы запрещеает индексировать только каталог /dir/, если вам нужно запретить все поддомены, то необходимо это делать через htaccess, точный код не скажу, но смысл такой, что если обращение идет к site.ru, то выдается один robots.txt, если к любому поддомену, то другой.