[Gulenkov]

Капец какой-то. Ничего в роботс не менял, сегодня смотрю - +2100 страниц в поиске. Попали ЗАПРЕЩЁННЫЕ в роботс.тхт. вот роботс: _new-webmasters.ru/robots.txt К слову, недавно мучил SEO-PACK, но там только с canonical пытался что-то сменить. Сейчас выставил Noindex For Categories and tags.

[pselfin]

Чего кричишь-то?
Сам чегось не того сделал, и откуда нам знать что он у тебя проиндексировал.
Вот роботы гугла какие есть http://support.google.com/webmasters...answer=1061943
А знак * зачем поставил?

---------- Сообщение добавлено 16:43 ---------- Предыдущее 16:40 ----------

User-agent: *
Disallow: /cgi-bin
Disallow: /tag/
Disallow: /category/
Disallow: /author/admin/
Disallow: /cat/
Disallow: /2011/
Disallow: /lessons/

User-agent: Mediapartners-Google
Disallow:
Allow: /*

Собственно здесь ты роботу Mediapartners-Google все разрешил.

[Gulenkov]

pselfin, Вообще-то * показывает, что правила работают для всех user-agentov.

---------- Сообщение добавлено 15:45 ---------- Предыдущее 15:44 ----------

pselfin, это адсенсовский бот! понимаешь, эта строка стоит здесь уже пол-года! Сайт индексировался всегда быстро, застоев не было - а теперь гугель одумался и проиндексировал? :)

[pselfin]

я про эту звезду говорил

User-agent: Mediapartners-Google
Disallow:
Allow: /*

Это раз.
А два: некоторые хлопчеги адсенс ставят, что бы в индекс вернуть сайт, проскакивало в блогах.
Я думаю логика может быть такой - не ставьте адсенс на неиндексируемых страницах.
Так что не надо паниковать, на гугл в суд все равно не подашь по такому поводу))

---------- Сообщение добавлено 17:17 ---------- Предыдущее 17:14 ----------

и вообще, где +2100?
http://www.google.ru/search?hl=en&ne...11l211l2-1l1l0

[Gulenkov]

pselfin, http://saveimg.ru/show-image.php?id=...1523a93b1cd47d

[pyramida]

Gulenkov, и пишет человек с блогом о сео :) гугле бот сканирует все страницы запрещеные или нет без разницы. Потом отрабатывает правила и т.д.
Странице есть в выдаче? Или только в site:new-webmasters.ru ?

[Gulenkov]

Раньше их даже в site:... не было. Вот в чём прикол то!

---------- Сообщение добавлено 17:05 ---------- Предыдущее 17:02 ----------

http://saveimg.ru/show-image.php?id=...94121cc1f8f5fc

[Cold_less]

он у меня также все страницы с тегами съел, хотя они запрещены, плюс также съел дубли страниц с добавленным в конце /feed, хотя по идее тоже запрещено, в итоге вышло 600+ в гугле 100 в яше...

[Gulenkov]

Cold_less, только блин с чего? :)

[pyramida]

Gulenkov, повторюсь страницы запрещенные есть в выдаче? сайт выдает то что проиндексированно но не в выдаче.