хостерам не писали по этому поводу? зачастую с их стороны задержки бывают. и кстати для маленьких файлов показывает маленькую скорость (например файлики по 2кб будет передавать со скоростью 2кб\с). А вообще что за менеджер такой? Тотал коммандер не пробовали может получше будет?
Я использую FileZilla. Сначала тоже скорость была не очень. Но потом я зашел в настройки в "передачу данных" и там выставил одновременное количество файлов на максимум (10 штук) - стало намного быстрее.