[andrei_z]

На сайте страницы такого вида

Код:

article
article?page=0
article?page=1
article?page=2

и первой страницы есть дубль

Код:

article
article?page=0

эти ссылки ведут на одну страницу

в robots.txt пишу

Код:

 Disallow: /*?page=0
 Allow: /*?page=*

в яндексе все отлично
article - открыта для индексации
article?page=0 - закрыта для индексации
article?page=1 - открыта для индексации
article?page=2 - открыта для индексации

Но гугл, проверка robots.txt в гугле говорит что робот проиндексирует все страницы.
Как закрыть article?page=0 от гугла?

[redeyer]

andrei_z, гугл знак вопроса воспринимает как спецсимвол (по аналогии с *)

Знак ? обозначает идентификатор сеанса. Следует исключить URL с этим символом, чтобы робот Googlebot не сканировал повторяющиеся страницы.

https://support.google.com/webmaster..._topic=6061961

Что-то даже сам не пойму как вам нужно указать чтобы добиться того что нужно. Возможно надо как-то экранировать знак вопроса. Я бы вообще смотрел в сторону какого-либо ЧПУ.

[Kurses]

redeyer, что же Вы дали ссылку и пишите что не знаете как сделать. На странице же об этом написано:

Чтобы заблокировать доступ ко всем URL, содержащим вопросительный знак (?), используйте этот пример. Здесь блокируются URL, которые начинаются с имени домена и содержат вопросительный знак.

User-agent: Googlebot
Disallow: /*?

Даже не знал что гугл воспринимает ? не так как думалось, я то думаю почему до сих пор он ходит по старым страницам без ЧПУ. Спасибо за посдказку!

[redeyer]

redeyer, что же Вы дали ссылку и пишите что не знаете как сделать.

Потому что не вникал в примеры.

[sky-fi]

Попробуйте 301-м перенаправить article?page=0 на article. И не придется ничего в роботсе химичить.
Ну и если что, зачем вам этот "?" сдался? Пропишите Disallow: /*page=0.