[Gesser]

Здравствуйте! Есть страница site.ru/page1 и есть дочерняя страница site.ru/page1/page2
Мне нужно в robots.txt закрыть от индексации page1, но не закрывать page2
Если я пропишу

Disallow: /page1

,то page2 ведь тоже закроется? Как тогда прописать правильно?

[Brovik]

нет, не закроется, чтоб закрылась надо "*" после слеша в конце прописать.

[seogitler]

Disallow: /page1$
вот так

[pyramida]

Gesser, метатеги ноиндекс ставьте на странице. В роботс, это закрыть от сканирования.

[Gesser]

Disallow: /page1$
вот так

Именно как вы написали? Без слеша перед $?

[Rush Agency]

Disallow: /page1$.

Да, без слеша, со слешем будет уже другая страница ( /page1/). Кстати, проверьте, есть ли страница /page1/ и какой ответ она отдает.
Нужно закрывать обязательно со знаком $.
$ означает, что запрещено только "page1", все, что после может быть разрешено.
Вот что пишет яндекс про это https://help.yandex.ru/webmaster/con...sterisk-dollar

SEO-специалист Rush Agency, Ирина Омговицкая