http://webmasters.ru/forum/showthread.php?t=33135 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1743524158 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=327549 Fri, 31 Aug 2012 15:36:16 GMT вот что записано в robot.txt: User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: */feed$ Disallow: */trackback$ Disallow: */comments$ Disallow: /tag/ Disallow: /category/*/* Disallow: /*? Disallow: /*?* Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: */feed$ Disallow: */trackback$ Disallow: */comments$ Disallow: /tag/ Disallow: /category/*/* Disallow: /*? Disallow: /*?* Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Host:********.ru Sitemap: http://********.ru/sitemap.xml естественно вместо звездочек сайт... Так вот в яндексе 58 страниц в индексе а у гугла 1180, причем в гугле есть страницы с такими вот адресами: http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1344531102 http://********.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1343944030 как мне от такого добра избавится?? http://webmasters.ru/forum/showpost.php?p=327550 Fri, 31 Aug 2012 15:40:54 GMT а это вы смотрите страницы которые не под фильтром или ВСЕ страницы, которые есть в гугл? http://webmasters.ru/forum/showpost.php?p=327559 Fri, 31 Aug 2012 16:07:36 GMT User-agent: * или удалите второй абзац и все. Сейчас у вас стоит запрет на индексирования только яндексом http://webmasters.ru/forum/showpost.php?p=327562 Fri, 31 Aug 2012 16:20:13 GMT Dukhovnik, вроде как все страницы! ---------- Сообщение добавлено 19:20 ---------- Предыдущее 19:19 ---------- 24list,разве строчка User-agent: * не означает что последующие за ней инструкции действительны для роботов всех поисковиков, включая и гугл??? http://webmasters.ru/forum/showpost.php?p=327566 Fri, 31 Aug 2012 16:23:20 GMT да верно, но в следующем абзаце вы указываете инструкции только для Yandex, и предыдущие теряют всякий смысл http://webmasters.ru/forum/showpost.php?p=327576 Fri, 31 Aug 2012 16:43:41 GMT 24list, почему предыдущие инструкции теряют смысл? По теме, инструкции роботс - это не указание роботу, а лишь рекомендация. т.е. робот всё-равно может ходить по запрещённым страницам. другое дело, что он не включает их в индекс. почему у вас включил, понятия не имею. Единственный вариант, что робот проиндексировал эти страницы до того как вы написали этот роботс тхт. Если так, то эти страницы скоро вылетят из индекса, если не так...то понятия не имею. Подождём более продвинутых комментаторов) http://webmasters.ru/forum/showpost.php?p=327889 Sat, 01 Sep 2012 17:17:56 GMT Да гугл вобще офигел в этом плане, на двух моих старых проектах такое было, помогло добавления ноуиндекса в метаописаниях страниц, а robots.txt гугл игнорировал по-полной... http://webmasters.ru/forum/showpost.php?p=328197 Sun, 02 Sep 2012 16:41:09 GMT кстати по запросу site:http://*****.ru Выдает Результатов: примерно 1 180 (0,10 сек.) Причем еще вот что пишет: Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на 35 уже показанных. Если вы хотите, можно повторить поиск, включив опущенные результаты. Может забить на это все?? или все же добиться исключения не нужных страниц?? http://webmasters.ru/forum/showpost.php?p=328208 Sun, 02 Sep 2012 17:15:43 GMT Кстати, та же проблема - если искать гуглом по "site: *****.ru", то выдает 2500 страниц, из которых 2400 - это сопли вида "*****.ru/категория/запись.htm?replytocom=165" или с фидом на конце и при этом в самой выдаче такие страницы помечены как "Описание веб-страницы недоступно из-за ограничений в файле robots.txt." Черт, дак как их тогда удалить-то из выдачи вобще? http://webmasters.ru/forum/showpost.php?p=328222 Sun, 02 Sep 2012 17:55:56 GMT Причем еще вот что пишет: Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на 35 уже показанных. гугле посчитал что остальное дубликаты. ---------- Сообщение добавлено 23:25 ---------- Предыдущее 23:25 ---------- redapp, в инструментах ВМТ есть какие параметры у страницы не учитывать. http://webmasters.ru/forum/showpost.php?p=328312 Mon, 03 Sep 2012 04:17:49 GMT вот что записано в robot.txt: если у вас в корневой директории этот файл с указанием запрещенных к индексации страниц называется именно robot.txt , то срочно его переименовывайте в robots.txt ! поскольку другие написания названия файла (robot.txt, Robots.txt) роботы не видят http://webmasters.ru/forum/showpost.php?p=328663 Tue, 04 Sep 2012 07:04:33 GMT Аналогично, в индексе и закрытое в robots, и накрытое в noindex в коде страницы. Гугл сам решает что вносить в индекс, что не вносить. Не индексировать не более чем рекомендация. При чем в выдаче может быть заголовок закрытой страницы, а в сниппете "закрыто в robots.txt"