[Dolmatov]

Привет всем.
Собственно имеется софт Twidium Accounter + 1500 аккаунтов, собираю я карту сайта, паршу заголовки и твитаю всё это дело!
Примерно через минут 10 сложиться наглухо сервер:

Процессор Xeon E5645
Частота 2400 МГц
ОЗУ 2000 МБ

Лог файл через 10-30 секунд весит около мегабайта.

Можно ли на сервер забанить всех роботов, оставить только яндекс, гугл, рамблер, маил итд.

Я думаю такая проблема не только у меня и кому нибудь удалось решить данную проблему!
На FastVPS Сервер intel I7 с 8ГБ оперативкой ложился за 20 минут, тех поддержка даже сервер отключала из-за нагрузки.