[dimok]

Иногда на хостинге (в т.ч. и платном), запрещают доступ ПС роботу к сайту из-за большого количества запросов.

угу. вот это более реальная проблема. на виртуале могут прикрыть просто. а на дедике скорее всего заплатить за превышение лимита трафа придется.

[grazer]

угу. вот это более реальная проблема. на виртуале могут прикрыть просто. а на дедике скорее всего заплатить за превышение лимита трафа придется.

НУ тут дело скорее не в превышении лимита, а именно в том, что банят ботов поисковиков, потому что могут подумать что ддос или еще что. Возможно стоит какое-то огранчиение на кол-во запросов с одного айпи, вот так и получается.

[dimihendrix]

Написал целую статью на данную тему http://webcaum.ru/pochemu-sajt-ne-indeksiruetsya.html. Изучите, думаю многое, что в ней написано, может пригодиться.