[vovasit91]

Выпущен финальный релиз версии 3: Butterfly 3.2

При попытке зайти на страницу пишет доступ запрещен

[vbi]

vovasit91, извеняюсь, доступ открыл

[vbi]

Выпущен релиз Butterfly 3.2 для Linux. Подробно смотрите на офф. сайте.

[zloberman]

насколько софт может парсить просто по доменной зоне? Для примера - искать в выдаче все домены msk.ru, складывать в 1 файл найденное, при этом проверяя на дубли, есть ли уже данный вариант в файле или нет? Я понимаю, что это целый комплекс запросов, поэтому и спрашиваю, что из этого сможет ваш софт?

ну и главное - глубина парсинга? вы идете дальше поисковой выдачи 1000 вариантов или софт работает в этих рамках?

[vbi]

zloberman, По доменной зоне искать к сожалению не может. Может искать исключая некоторую доменную зону. Дубликаты может сохранять а может не сохранять (опционально). Это все, что программа может делать с самими ссылками.
Основная проверка направленна на содержимое сайта, который размещен по данной ссылке. В таком случае, если в некоей доменной зоне, все сайты имеют некоторыю особенность ("общий фрагмент HTML кода") - тогда можно будет отобрать все сайты этой доменной зоны.
Программа имитирует "человеческий" поиск, просмотр и переход по ссылкам, потому для Google не доступны больше 1000 результатов. Однако большее количество результатов достигается за счет кастомизации поисковых запросов.

[vbi]

Выложил тут детальную инструкцию как создавать новые профили поиска для того чтобы парсить поисковики, каталоги и др.

[A1ex]

vbi, у Вас картинки не отображаются.

[vbi]

A1ex, Извеняюсь, исправил.

[vbi]

Выложил детальную инструкцию по созданию профилей фильтрации.

[jaccuzi]

Прокси добавьте)