http://webmasters.ru/forum/showthread.php?t=36462 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1743242615 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=366300 Fri, 23 Nov 2012 21:10:06 GMT Необходимо закрыть страницы сайта заканчивающиеся на *.html . Пример http://site.ru/maps/kvartiry/pushkina-29-111.html Страницы до *.html должны быть открыты для индексирования роботами. Примеры страниц: http://site.ru/maps/kvartiry/kuplyu http://site.ru/maps/kvartiry/ http://webmasters.ru/forum/showpost.php?p=366308 Fri, 23 Nov 2012 21:30:01 GMT Закройте в robots.txt На форуме полно примеров http://webmasters.ru/forum/showpost.php?p=366321 Fri, 23 Nov 2012 22:02:19 GMT Закройте в robots.txt На форуме полно примеров например? http://webmasters.ru/forum/showpost.php?p=366329 Fri, 23 Nov 2012 22:46:45 GMT voland, а почему вас расширение не на всех страницах? вы сами ссылки меняли или сефом? http://webmasters.ru/forum/showpost.php?p=366330 Fri, 23 Nov 2012 22:51:34 GMT Вставляйте в страницы тег . Я всегда так делаю. Также один из способов удаления страниц из поиска – это ручное удаление из панели вебмастера. Из Google _https://www.google.com/webmasters/tools/ Из Яндекс _http://webmaster.yandex.ru/delurl.xml . Я всегда так делаю. Также один из способов удаления страниц из поиска – это ручное удаление из панели вебмастера. Из Google _https://www.google.com/webmasters/tools/ Из Яндекс _http://webmaster.yandex.ru/delurl.xml]]> http://webmasters.ru/forum/showpost.php?p=366332 Fri, 23 Nov 2012 23:06:38 GMT Меня больше интересует как закрыть страницы в robots.txt http://webmasters.ru/forum/showpost.php?p=366335 Fri, 23 Nov 2012 23:07:46 GMT voland, Запретить весь сайт для индексации всеми роботами User-agent: * Disallow: / Разрешить всем роботам индексировать весь сайт User-agent: * Disallow: Или можете просто создать пустой файл «/robots.txt». Закрыть от индексации только несколько каталогов User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ Запретить индексацию сайта только для одного робота User-agent: BadBot Disallow: / Разрешить индексацию сайта одному роботу и запретить всем остальным User-agent: Yandex Disallow: User-agent: * Disallow: / Запретить к индексации все файлы кроме одного Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию: User-agent: * Disallow: /docs/ Либо вы можете запретить все запрещенные к индексации файлы: User-agent: * Disallow: /private.html Disallow: /foo.html Disallow: /bar.html http://webmasters.ru/forum/showpost.php?p=366343 Fri, 23 Nov 2012 23:43:11 GMT Я думаю будет работать? User-agent: * Disallow: *.html http://webmasters.ru/forum/showpost.php?p=366352 Sat, 24 Nov 2012 02:44:34 GMT Думаю, полезно также ознакомиться с robotstxt.org.ru (http://robotstxt.org.ru/), там в том числе указаны типичные ошибки при построении этого файла. Также ряд полезных советов по грамотному исключению страниц и групп страниц (на английском языке - возможно, стоит перевести) здесь: Robots.txt and Meta Robots ... (http://www.seomoz.org/learn-seo/robotstxt) http://webmasters.ru/forum/showpost.php?p=366393 Sat, 24 Nov 2012 09:23:46 GMT Если я закрою страницы вот так: User-agent: * Disallow: /*.html* Будет ли это правильно?