[Deimaty]

Смотря ещё какой движок на сайте. На WordPress есть плагин, который закрывает от индексации и страницы и ссылки. Возможно и в другихдвижках есть плагины на подобе

[Candyman]

Подниму тему из глубин, потому как понадобилось закрыть страницы от индексации. А конкретнее страницы магазина. Т.е. подьзователи то могут по нему гулять переходя по сайту, а ПС нет.
Роботс тут не поможет, уже понял. потому как ПС все равно залазят на ненужные страницы.

В одном из видео Андрея Шепилова, он утверждает, что лучше закрывать сразу на 403, так ПС точно не зайдет а пойдет по сайту индексировать страницы.
Вот код для запрещенной страницы

$uri=$_SERVER["REQUEST_URI"]
if (eregi("lalalalala".$uri)) header("HTTP/1.0 403 Forbidden")

Итак вопрос=) пользовался ли кто-то? И как можно закрыть от индексации товары магазина? (joomla_virtuemart)

[Webliberty]

Уже много раз убеждаюсь что гуглу глубоко наплевать на роботс. Глотает страницы запрещенные к индексации только так! Спасает только ручной запрос на удаление из панели вебмастеров...

[gofuckblog]

Уже много раз убеждаюсь что гуглу глубоко наплевать на роботс. Глотает страницы запрещенные к индексации только так! Спасает только ручной запрос на удаление из панели вебмастеров...

может просто robots кривой?

[Candyman]

Сомневаюсь, что дело в robots. Неоднократно встречал то, что как ты этот роботс не настраивай, все равно получишь страницу в индексе.

[Candyman]

А каким образом лучше всего закрыть страницы с /ru/ и /ua/ ?

Хочу перевести сайт на эти два языка, но естественно. что страницы для ПС будут дублироваться по разным адресам:
site.ru/ru/ и site.ru/ua/.

Достаточно ли будет в роботе закрыть их?:
Disallow: /ru/
Disallow: /ua/

[Igor_13]

А чем роботс не подходит? Правильно составьте роботс и гугл не будет индексировать ненужные страницы.
Disallow: /
плюс
<meta name="robots" content="noindex, nofollow" />
должно сработать

[AntonMarin]

Достаточно ли будет в роботе закрыть их?:
Disallow: /ru/
Disallow: /ua/

Да этого будет достаточно!

[winter]

Сильно не материте, луче подскажите правильно я сделал или нет?
<title>site</title>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta name="keywords" content="теги">
<meta name="description" content="теги">
<meta name="robots" content="noindex, nofollow"/>

[dmg.shark]

Сильно не материте, луче подскажите правильно я сделал или нет?

Смотря что правильно, мета написан правильно, но какую цель вы преследуете? :)