Для промышленных масштабов лучше хрефера не найти. Как вариант используй teleport pro (там можно выкачивать по списку урл), затем text pipe pro - подробнее
тебе только урлы нужны? могу подогнать свой на PHP - писал с месяц назад для анализа выдачи. Работает под денвером + cURL
свое решение конечно хорошо, но вот что делать если ip статический? Яндекс больно быстро банит предпочитаю на сервере запускать такой же парсер с опцией CURLOPT_INTERFACE у cURL не знаю почему но как то я не любитель "готовых" решений, "свое" лучше по многим критериям :)
Последний раз редактировалось sowich; 15.12.2009 в 14:54.
Парсер поисковой выдачи яндекса можно скачать тут. Он называется WebParser от компании Cybermake. Парсер собирает базу сайтов из поисковых систем, анализирует CMS. К примеру можно собрать базу Datalife DLE.
Так же есть бесплатный аналог WebParser'у: Butterfly 3.0 от компании BiByte. Парсит любую поисковую систему, имеет возможность настраивать фильтры на результаты поиска. Скачать можно с офф. сайта.