[Андрей Вегера]

Возникла необходимость получить список url страниц сайта.
Есть сайт нужно получить его структуру.
Возможно у кого-то есть бесплатный или условно бесплатный сервис для краулинга сайта. Желательно что бы можно краулить сайты с 1000+ страницами.
Переформулирую.
Нужен сервис-паук который пройдет по сайту и соберет все URL адреса страниц.

И другая проблема.
Нужен сервис что бы получить URL адреса из выдачи гугла.
Возможно кто-то знает способ как быстро получить URL адреса всех страниц которые находятся в основном индексе гугл?
Переформулирую.
На запрос site:example.com гугл выдаст n-ное количество страниц. Нужно получить URL Адреса всех страниц.

Буду очень благодарен за помощь!)

[seodima]

Вам поможет Content Downloader - http://sbfactory.ru/?p=600

[SEO_MONSTR]

Есть программа бесплатная netspider, и платна screeming frog Они собирут всю инфу с сайта и не только страницы.

[Андрей Вегера]

Даже не знаю как я мог раньше работать без netspider и Content Downloader!!))
Спасибо огромное!

[Remy]

Пользуйтесь Netpeak spider, Xenu.

[Rush Agency]

Добрый день!

Воспользуйтесь программами:

Screaming Frog
Netpeak Spider
Xenu

[roots]

Приветствую!

Воспользуйтесь программами:

Xenu
Screaming Frog
Netpeak Spider

А, еще Content Downloader забыл, да