[insite18]

Имеется сайт izhbilet.ru Гугл индексирует автоматически созданные страницы - уже около 200 страниц, хочу их удалить.

в роботсе прописал - Disallow: otzyvy-ob-otelyah.html/ но пока не помогает.
вот, кстати какие страницы он упорно индексирует otzyvy-ob-otelyah.html?acountry=27, otzyvy-ob-otelyah.html?acountry=29 и т.д.

[seregkaz]

Подождать как бы надо.

[r2d2]

в гугле, если не ошибаюсь, в панель вебмастера есть функшин .. типа удалить страница нафиг, и опять же надо будеть прождать время пока умрёт страница и с кеша тоже...

[insite18]

Cпасибо. Но видимо надо было просто подождать - уже вылетело больше 90 страниц )))

[insite18]

Ниче не понимаю! В гугле то +110 страниц, то -110 страниц. Два раза сегодня мнение менял Гоша.

[silverspam]

У меня два варианта:

Код:

User-agent: Googlebot
Disallow: /index/
Disallow: /m/
Disallow: /ml/
Disallow: /news/
Disallow: /opr/
Disallow: /sendmail/
Disallow: /otzyvy-ob-otelyah*

Либо:

Код:

User-agent: Googlebot
Disallow: /index/
Disallow: /m/
Disallow: /ml/
Disallow: /news/
Disallow: /opr/
Disallow: /sendmail/
Disallow:
Clean-param: acountry /otzyvy-ob-otelyah.html

Второй вариант поидее сведет все страницы с параметром "acountry" в одной странице tzyvy-ob-otelyah.html . Правда не уверен что это сработает для гугла, но для яндекса точно работает.

[insite18]

Второй вариант поидее сведет все страницы с параметром "acountry" в одной странице tzyvy-ob-otelyah.html . Правда не уверен что это сработает для гугла, но для яндекса точно работает.

Спасибо. Попробую второй вариант сначала

[SheldonCooper]

Robots.txt не дает гарантии на то, что странички, в нем закрытые, не будут индексироваться.
Единственное, что гарантированно выбросит из индекса ваши ненужные страницы - это мета тег robots на странице.
Яндекс тоже понимает этот мета тег. В Robots.txt вообще лучше ничего не закрывать.

"Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project, могут появиться в результатах поиска Google." © Источник
Оттуда же: "Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе."

Статья на эту тему - http://netpeak.ua/blog/noindex_nofollow/

[insite18]

Robots.txt не дает гарантии на то, что странички, в нем закрытые, не будут индексироваться.
Единственное, что гарантированно выбросит из индекса ваши ненужные страницы - это мета тег robots на странице.
Яндекс тоже понимает этот мета тег. В Robots.txt вообще лучше ничего не закрывать.

"Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project, могут появиться в результатах поиска Google." © Источник
Оттуда же: "Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе."

Статья на эту тему - http://netpeak.ua/blog/noindex_nofollow/

Спасибо попробую метатэг вставить, роботс не помог