Тулза по сбору всех страниц сайта

(Ответов: 21, Просмотров: 3691)
Страница 2 из 3 Первая 123 Последняя
  1. Banned
    • Регистрация: 07.09.2009
    • Сообщений: 7
    • Репутация: 10
    Цитата Сообщение от Dr.Gonzo Посмотреть сообщение
    Вопрос в кол-ве страниц сайта. Если их реально много, то телепорт про, оффлайн эксплорер и тд - не выкачают полностью, почему - хз.

    PS а есть что-то подобное для линукса? Кроме wget, конечно.

    Кстати - wget - отличная штука, если есть сервак. Единственный и самый главный минус - однопоточная, но зато работает как часы.
    у меня wget локально работает
    слазить пора уже с венды
    • 0
  2. Гуру Аватар для Dr.Gonzo
    • Регистрация: 03.09.2009
    • Сообщений: 1,503
    • Репутация: 64
    Цитата Сообщение от Lios Посмотреть сообщение
    у меня wget локально работает
    слазить пора уже с венды
    Ну он и на винде локально заработает при желании.
    Про сервак я писал, т.к. у него канал широкий.
    • 0
  3. Banned
    • Регистрация: 08.09.2009
    • Сообщений: 47
    • Репутация: 10
    +1 за Телепорт
    • 0
  4. Junior Member
    • Регистрация: 08.09.2009
    • Сообщений: 20
    • Репутация: 10
    Телепорт, определенно
    • 0
  5. Опытный
    • Регистрация: 03.09.2009
    • Сообщений: 278
    • Репутация: 10
    ТС для каких целей нужно собирать страницы ?
    • 0
  6. Опытный Аватар для jurar1
    • Регистрация: 03.09.2009
    • Сообщений: 387
    • Репутация: 10
    +1 за Телепорт
    пробывал много разных но эта больше приглянулась
    :eek::eek::eek: БАБЛО
    • 0
  7. Опытный Аватар для hichnii
    • Регистрация: 03.09.2009
    • Сообщений: 306
    • Репутация: 12
    Цитата Сообщение от PlayeR Посмотреть сообщение
    ТС для каких целей нужно собирать страницы ?
    какая разница для каких целей - это не имеет значения - цели разные, важен результат - текстовый файл со списком урлов вида: http://domen.com/page1.html
    • 0
  8. Гуру Аватар для Dr.Gonzo
    • Регистрация: 03.09.2009
    • Сообщений: 1,503
    • Репутация: 64
    Цитата Сообщение от hichnii Посмотреть сообщение
    какая разница для каких целей - это не имеет значения - цели разные, важен результат - текстовый файл со списком урлов вида: http://domen.com/page1.html
    Упс, не правильно понял вначале. Тогда тебе нужно искать проги для создания sitemap'а, с возможностью сбора всех урлов в один файл.

    PS попробуй вот это например http://home.snafu.de/tilman/xenulink.html#Description
    Очень быстро работает, может сделать (в том числе) и сайтмап.
    • 0
  9. Опытный
    • Регистрация: 04.09.2009
    • Сообщений: 288
    • Репутация: 11
    Телепорт неплохо справляется с этой целью.
    • 0
  10. Banned
    • Регистрация: 08.09.2009
    • Сообщений: 1,478
    • Репутация: 80
    • Webmoney BL: ?
    wget -r -l3 -s -o map.txt

    -r - рекурсивно
    -l3 до третьего уровня
    -s ведёт себя как паук (просто ходит по страничкам)
    -o куда писать лог.
    Насчёт -o не уверен, можно попробовать -f
    Скачает вам все страницы до третьего уровня. Под винду вгет тоже есть
    • 0
Страница 2 из 3 Первая 123 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Подскажите пожалуйста прогу для массовой проверки PR внутренних страниц сайта.
Софт, скрипты, сервисы 4 09.11.2010 21:00
Сервис по сбору и уникализации контента BlogBot
Софт, скрипты, сервисы 2 26.04.2010 18:17
подсчет страниц сайта
Вопросы от новичков 3 16.03.2010 21:33
Стоит ли покупать несколько ссылок с разных страниц одного сайта?
Вопросы от новичков 20 06.09.2009 20:08

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры