[matador2011]

вот что записано в robot.txt:


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/


User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /*?
Disallow: /*?*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Host:********.ru

Sitemap: http://********.ru/sitemap.xml



естественно вместо звездочек сайт...
Так вот в яндексе 58 страниц в индексе а у гугла 1180, причем в гугле есть страницы с такими вот адресами:
http://********.ru/wp-content/plugin...2&r=1344531102
http://********.ru/wp-content/plugin...2&r=1343944030

как мне от такого добра избавится??

[Dukhovnik]

а это вы смотрите страницы которые не под фильтром или ВСЕ страницы, которые есть в гугл?

[24list]

User-agent: * или удалите второй абзац и все.
Сейчас у вас стоит запрет на индексирования только яндексом

[matador2011]

Dukhovnik, вроде как все страницы!

---------- Сообщение добавлено 19:20 ---------- Предыдущее 19:19 ----------

24list,разве строчка

User-agent: *

не означает что последующие за ней инструкции действительны для роботов всех поисковиков, включая и гугл???

[24list]

да верно, но в следующем абзаце вы указываете инструкции только для Yandex, и предыдущие теряют всякий смысл

[Ilich]

24list, почему предыдущие инструкции теряют смысл?

По теме, инструкции роботс - это не указание роботу, а лишь рекомендация. т.е. робот всё-равно может ходить по запрещённым страницам. другое дело, что он не включает их в индекс. почему у вас включил, понятия не имею. Единственный вариант, что робот проиндексировал эти страницы до того как вы написали этот роботс тхт. Если так, то эти страницы скоро вылетят из индекса, если не так...то понятия не имею. Подождём более продвинутых комментаторов)

[idimka]

Да гугл вобще офигел в этом плане, на двух моих старых проектах такое было, помогло добавления ноуиндекса в метаописаниях страниц, а robots.txt гугл игнорировал по-полной...

[matador2011]

кстати по запросу site:http://*****.ru
Выдает Результатов: примерно 1 180 (0,10 сек.)
Причем еще вот что пишет:
Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на 35 уже показанных.
Если вы хотите, можно повторить поиск, включив опущенные результаты.

Может забить на это все?? или все же добиться исключения не нужных страниц??

[redapp]

Кстати, та же проблема - если искать гуглом по "site: *****.ru", то выдает 2500 страниц, из которых 2400 - это сопли вида "*****.ru/категория/запись.htm?replytocom=165" или с фидом на конце и при этом в самой выдаче такие страницы помечены как "Описание веб-страницы недоступно из-за ограничений в файле robots.txt."
Черт, дак как их тогда удалить-то из выдачи вобще?

[pyramida]

Причем еще вот что пишет: Чтобы показать наиболее значимые результаты, мы опустили некоторые, очень похожие на 35 уже показанных.

гугле посчитал что остальное дубликаты.

---------- Сообщение добавлено 23:25 ---------- Предыдущее 23:25 ----------

redapp, в инструментах ВМТ есть какие параметры у страницы не учитывать.