[Dr.Gonzo]

Линуксоводы, подскажите какую-нибудь альтернативу wget'у, чтобы многопоточная была?
Нужно выкачать сайт объёмом около 30Гб на винт сервера, wget делает это уже 3ий день, и не видно ни конца, ни края.

[24110]

Ну так а канал у вас какой? Может ширины не хватает. А так curl попробуйте. Только сомневаюсь, что получится быстрее, т.к. тут скорее всего, все в ширину канала упирается.

[Dr.Gonzo]

Ну так а канал у вас какой? Может ширины не хватает. А так curl попробуйте. Только сомневаюсь, что получится быстрее, т.к. тут скорее всего, все в ширину канала упирается.

Канал - 100 мбит, скорость упирается в один поток. Скажем так - на локалке с 1Мбит анлимом, с виндой и прогой многопоточной качается чуть быстрее, чем на серваке со 100 мбитами.

Курл - это в коде копаться, хотелось бы какой-нибудь готовый софт, ведь наверняка должен быть!

[chaser]

Смысла нет в неколько потоков..
любым фтп под линукс, есть еще варианты, но они более гейморны

[24110]

Канал - 100 мбит, скорость упирается в один поток. Скажем так - на локалке с 1Мбит анлимом, с виндой и прогой многопоточной качается чуть быстрее, чем на серваке со 100 мбитами.

Курл - это в коде копаться, хотелось бы какой-нибудь готовый софт, ведь наверняка должен быть!

cURL не PHP'шный а вот этот.

[LIME]

Httrack'ом попробуй. Это оффлайновый браузер, есть консольная версия.
http://www.httrack.com/

[Dr.Gonzo]

24110, LIME

А у вас случайно нету готовой командной строки для curl и httrack, позволяющей заменить вот эту строку wget'а?

wget -m -H -c -A *.htm*,*.stm*,*.shml*,*.shtml*,*.php*,*.asp*,*.cfm * -D site.com http://www.site.com

Т.е. выкачать все страницы с сайта и его сабдоменов, с заданным расширением.

[ralliart]

А у вас случайно нету готовой командной строки, позволяющей заменить вот эту строку wget'а?

Напишите простенький Bash скрипт :)

[inlanger]

А у вас случайно нету готовой командной строки, позволяющей заменить вот эту строку wget'а?

создаёшь текстовый файл с расширением .sh, даёшь ему права на выполнение, спрашиваешь переменную "ссылка". Примерно так:

Код:

#!/bin/bash
echo "Введите url сайта в виде site.ru"
read site
wget -m -H -c -A *.htm*,*.stm*,*.shml*,*.shtml*,*.php*,*.asp*,*.cfm * -D "$site" http://www."$site"

и потом запускаешь просто

Код:

.your_script.sh

[Dr.Gonzo]

Не-не-не, баш-скрипт я написать могу:)
wget - всем хорош, но он однопоточный.
А в curl'е и httrack'е я пока не разобрался, как спарсить сайт. Вот и попросил уважаемых 24110 и LIME, может они помогут (если это не займёт у них много времени).

PS согласен, в предыдущем посте высказался немного неточно - подправил его только-что.