[Анальгин]

А что здесь такого удивительного? Могу на примере показать как-нибудь, если не забуду.

Просто получить любовь быстробота довольно непросто.

[grazer]

Просто получить любовь быстробота довольно непросто.

Регулярно обновляемый контент, сам по себе контент уникален, по крайней мере для поисковых систем + парочку способов, как подсказать боту, что появилась новая страница. Все спокойно кушается и появляется в выдаче.

Вот только бы решить проблему с дополнительным индексом и все будет ок.

[Crasher69]

На данный момент добавляю по 3 записи в день на фильмовый сайт - бот просто бесится от радости) Практически сразу хавает все.
+ Естественно настроены пинги

[grazer]

На данный момент добавляю по 3 записи в день на фильмовый сайт - бот просто бесится от радости) Практически сразу хавает все.
+ Естественно настроены пинги

Копипаст или копи/рерайт?

И тут речь про дополнительный индекс, а не про индексацию общем.

[Phillosof]

1) Является ли дополнительный индекс НАКАЗАНИЕМ?
Когда страницы Вашего сайта оказываются в дополнительном индексе это НЕ ОЗНАЧАЕТ, что Ваш ресурс наказан. Подчеркиваю, мы не перемещаем страницы сайтов из основного индекса в дополнительный в ответ на какие-либо нарушения "Правил для Веб-мастеров".

2) Свежесть?
Есть основания полагать, что в скором времени появится более свежий дополнительный индекс. Но, исходя из самого определения "дополнительный", я не могу ручаться за то, что обновления в нем будут происходить так же часто, как и в основном.

3) Как можно избежать попадания в дополнительный индекс?

Стремитесь к получению как можно большего количества качественных бэклинков. Это ключевой момент - именно на его основании наши алгоритмы будут расценивать Вашу страницу, как одну из достойных нашего основного индекса"
_________________________

Собственно ключевой момент это уникальность, обновление и бэклинки. За это вашему ресурсу можно будет и "хулиганить".

[ar.bogdanov]

А можно пример роботс.тхт какого-нибудь более менее человеческого блога, там где категории закрыты в роботс?

Вот robots.txt моего блога:

User-agent: *
Disallow: /page/
Disallow: /category/
Disallow: /tag/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /cgi-bin/

На сам блог есть ссылка в подписи.

Вообще категории не во всех случаях полезно закрывать. Посмотри как продвигается rozetka.ua например, там категории в топе.