[voland]

Необходимо закрыть страницы сайта заканчивающиеся на *.html .
Пример http://site.ru/maps/kvartiry/pushkina-29-111.html

Страницы до *.html должны быть открыты для индексирования роботами.
Примеры страниц: http://site.ru/maps/kvartiry/kuplyu
http://site.ru/maps/kvartiry/

[zaxll777]

Закройте в robots.txt
На форуме полно примеров

[voland]

Закройте в robots.txt
На форуме полно примеров

например?

[xVOVAx]

voland, а почему вас расширение не на всех страницах? вы сами ссылки меняли или сефом?

[hammer8]

Вставляйте в страницы тег <meta name="robots" content="nofollow,noindex" />. Я всегда так делаю.

Также один из способов удаления страниц из поиска – это ручное удаление из панели вебмастера.
Из Google _https://www.google.com/webmasters/tools/
Из Яндекс _http://webmaster.yandex.ru/delurl.xml

[voland]

Меня больше интересует как закрыть страницы в robots.txt

[hammer8]

voland,
Запретить весь сайт для индексации всеми роботами

Код:

User-agent: *
Disallow: /

Разрешить всем роботам индексировать весь сайт

Код:

User-agent: *
Disallow:

Или можете просто создать пустой файл «/robots.txt».

Закрыть от индексации только несколько каталогов

Код:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

Запретить индексацию сайта только для одного робота

Код:

User-agent: BadBot
Disallow: /

Разрешить индексацию сайта одному роботу и запретить всем остальным

Код:

User-agent: Yandex
Disallow:

User-agent: *
Disallow: /

Запретить к индексации все файлы кроме одного
Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:

Код:

User-agent: *
Disallow: /docs/

Либо вы можете запретить все запрещенные к индексации файлы:

Код:

User-agent: *
Disallow: /private.html
Disallow: /foo.html
Disallow: /bar.html

[zaxll777]

Я думаю будет работать?

Код:

User-agent: *
Disallow: *.html

[Temmokan]

Думаю, полезно также ознакомиться с robotstxt.org.ru, там в том числе указаны типичные ошибки при построении этого файла.

Также ряд полезных советов по грамотному исключению страниц и групп страниц (на английском языке - возможно, стоит перевести) здесь: Robots.txt and Meta Robots ...

[voland]

Если я закрою страницы вот так:

User-agent: *
Disallow: /*.html*

Будет ли это правильно?