какая разница для каких целей - это не имеет значения - цели разные, важен результат - текстовый файл со списком урлов вида: http://domen.com/page1.html
какая разница для каких целей - это не имеет значения - цели разные, важен результат - текстовый файл со списком урлов вида: http://domen.com/page1.html
Упс, не правильно понял вначале. Тогда тебе нужно искать проги для создания sitemap'а, с возможностью сбора всех урлов в один файл.
-r - рекурсивно -l3 до третьего уровня -s ведёт себя как паук (просто ходит по страничкам) -o куда писать лог. Насчёт -o не уверен, можно попробовать -f Скачает вам все страницы до третьего уровня. Под винду вгет тоже есть