http://webmasters.ru/forum/showthread.php?t=1121 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1744966987 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=21953 Mon, 07 Sep 2009 07:37:41 GMT Ребят, подскажите плиз как кто реализовывает в robots.txt индексацию ТОЛЬКО главной страницы сайта? насколькоя я знаю запретить к индексации весь сайт, а разрешить индексацию сайта (http://webmasters.ru/forum/f45/thread-t3110/) с помощью Allow только главной не прокатывает. Мне приходится разрешать весь сайт к индексации и закрывать все остальные страницы следующим образом: User-agent: * Disallow: /page1.html Disallow: /page2.html ... Минусом данного варианта является поиск всех страниц сайта, что занимает много времени и трудов при работе с многостраничными сайтами, кто что может предложить по решению данной проблемы? http://webmasters.ru/forum/showpost.php?p=22394 Mon, 07 Sep 2009 10:16:56 GMT hichnii - запрети к индексации все директории, а также все файлы находящиеся в них. Насчет диретивы Allow :), глянь в роботс гугла (http://google.com/robots.txt) , здесь про robots.txt (http://lucky-max.com/783-optimizaciya-shopov-rx-promotion-%E2%80%93-chast-1/), идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой. http://webmasters.ru/forum/showpost.php?p=22472 Mon, 07 Sep 2009 10:47:10 GMT hichnii - запрети к индексации все директории, а также все файлы находящиеся в них. Насчет диретивы Allow :), глянь в роботс гугла (http://google.com/robots.txt) , здесь про robots.txt (http://lucky-max.com/783-optimizaciya-shopov-rx-promotion-%E2%80%93-chast-1/), идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой. муторно, но правильно закрыть каждую страницу от индексации. http://webmasters.ru/forum/showpost.php?p=22528 Mon, 07 Sep 2009 11:10:15 GMT Не уверен что сработает, но попробуй: Disallow: /*.html http://webmasters.ru/forum/showpost.php?p=22541 Mon, 07 Sep 2009 11:14:10 GMT Не уверен что сработает, но попробуй: Disallow: /*.html Что сработает то? нифига не понял http://webmasters.ru/forum/showpost.php?p=22544 Mon, 07 Sep 2009 11:15:01 GMT Я от гугла что закрывал, что не закрывал - один фиг, если ему приспичит - он проиндексирует, хочешь ты этого или нет. Только если по айпи и юзерагенту не пускать, но это уже клоакинг (http://webmasters.ru/forum/f10/thread-t1217/) получается. http://webmasters.ru/forum/showpost.php?p=22580 Mon, 07 Sep 2009 11:25:21 GMT User-Agent: * Disallow: / В этом файле роботу запрещен обход всех хостов, кроме www.главное_имя.ru http://yapro.ru/web-master/xhtml/kak_zapretiti_indeksaciyu_nujnih_stranic.html User-Agent: * Disallow: / В этом файле роботу запрещен обход всех хостов, кроме www.главное_имя.ru http://yapro.ru/web-master/xhtml/kak_zapretiti_indeksaciyu_nujnih_stranic.html]]> http://webmasters.ru/forum/showpost.php?p=22588 Mon, 07 Sep 2009 11:26:52 GMT Сначала сделай Disallow: /*.* а потом Allow index.html в .htaccess, должно сработать Интересно почитать: как скрыть ссылки. (http://webmasters.ru/forum/f16/java-c-t3356/) http://webmasters.ru/forum/showpost.php?p=22597 Mon, 07 Sep 2009 11:31:33 GMT муторно, но правильно закрыть каждую страницу от индексации. - я это и советовал. Patologoanatom - запретит индексацию (http://webmasters.ru/forum/f4/thread-t2539/) таким образом всех файлов .html dveredel - Ни одного случая подобного не было, если правильно составлен robots.txt, такого не должно произойти. Иногда такое случается, при неправильном запрете индексации динамических ссылок. inlanger - как вариант :) http://webmasters.ru/forum/showpost.php?p=22626 Mon, 07 Sep 2009 11:46:27 GMT А для чего чтобы ПС только главную индексировала? просто интересно с какой целью? http://webmasters.ru/forum/showpost.php?p=22644 Mon, 07 Sep 2009 11:53:21 GMT Я от гугла что закрывал, что не закрывал - один фиг, если ему приспичит - он проиндексирует, хочешь ты этого или нет. Только если по айпи и юзерагенту не пускать, но это уже клоакинг получается. Скорей всего ты неправильно составил robots.txt, добавь свой сайт в Google Webmaster Tools, там можно увидеть URL restricted by robots.txt http://webmasters.ru/forum/showpost.php?p=22646 Mon, 07 Sep 2009 11:53:43 GMT Я от гугла что закрывал, что не закрывал - один фиг, если ему приспичит - он проиндексирует, хочешь ты этого или нет. Только если по айпи и юзерагенту не пускать, но это уже клоакинг получается. согласен. если гуглу запретить индексацию всего сайта, то он все равно его проиндексирует, вот только не будет показывать результат индексации в выдаче http://webmasters.ru/forum/showpost.php?p=22666 Mon, 07 Sep 2009 12:01:34 GMT согласен. если гуглу запретить индексацию всего сайта, то он все равно его проиндексирует, вот только не будет показывать результат индексации в выдаче что он там сам индексирует для себя - это только в Гугле знают - тут гадать нефиг, мне интересна как мой сайт будут видеть все в поисковой выдаче http://webmasters.ru/forum/showpost.php?p=22678 Mon, 07 Sep 2009 12:05:53 GMT А зачем закрывать от индексации весь сайт кроме главной? Какой в этом смысл? http://webmasters.ru/forum/showpost.php?p=22685 Mon, 07 Sep 2009 12:08:07 GMT что он там сам индексирует для себя - это только в Гугле знают - тут гадать нефиг, мне интересна как мой сайт будут видеть все в поисковой выдаче Ну тогда присоединяюсь к комментарию (http://www.drugrevenue.com/forum/showpost.php?p=22580&postcount=7) jurar1. Должно сработать http://webmasters.ru/forum/showpost.php?p=39499 Sat, 12 Sep 2009 07:40:28 GMT Закрыть к индексации все папки не означает закрыть весь сайт кроме главной. шаблон то лежит не в корне а в папках. таким образом закроешь весь сайт http://webmasters.ru/forum/showpost.php?p=101486 Sat, 01 May 2010 06:37:39 GMT http://www.design-sites.ru/seo_faq.php#index_main