[vbi]

tronkovlad, ага), Qt4 - так что скоро и под Линух соберу

[vbi]

Выпустил новую версию Beta 2
В новой версии:

• Реализована обработка капчи пользователем
• После аварийной паузы, программа открывает окно браузера в котором можно узнать о причине ошибки (и ввести капчу). Если действий от пользователя нет в течение 10 минут, программа продолжает поиск автоматически.
• В диалоговое окно программы добавлена кнопка выхода из программы и кнопка сворачивания в трей.
• Дописана документация по разработке профилей поиска

• Исправлена ошибка определения последней страницы поисковика в некоторых случаях
• Исправлена ошибка выгрузки объектов из памяти при использовании проверку реакции сайтов на параметры
• Исправлена ошибка парсинга ссылок, которые представлены как редирект (проблема наблюдалась с Google)
• Исправлена ошибка внезапного закрытия программы
• Программа больше не проверяет идущие подряд дубликаты ссылок
• Исправлены и улучшены некоторые профили
• Другие мелкие исправления

[vbi]

Выпустил релиз 3.0 программы. В нема:
- Перестроен интерфейс

- Исправлено потребление оперативки (если программа работает сутки, оперативка останавливается примерно на 600 МБ.
- Исправлены "вылетания" программы во время поиска. Программа тестировалась на разных движках. При парсинге яндекса за ночь обрабатывает 150 000 ссылок.
- в профили поисковиков добавлены максимальное и минимальное количество секунд - рамки между которыми случайно выбирается количество секунд - время ожидания перед загрузкой следующей страницы результатов поисковика. Ожидание предназначено для избежания определения программы как бота.
- На вкладке лога добавлено поле, которое позволяет сохранять лог в файл во время выполнения программы.

- Исправлены мелкие ошибки
- Протестированы и добавлены новые профили (добавлены профили поиска CNCat каталогов, PHPBB 3 форумов и др.)

Обнаруженные баги:
- Если остановить поиск, а потом продолжить - выростает потребление оперативки на 100 - 200 Мб.
- Если установлено ограничение на количество результатов на ключевое слово, и количество больше, чем поисковик выдает результатов на одну страницу, то ограничение не работает.
- При парсинге DMOZ-каталога программа вылетает на 3000 - 15 000 результатах поиска

[koysara]

Хороший софт, буду юзать

[13й]

Раз автор парсера несколько не спешит информировать форумчан о выходе новой версии парсера, то возьму на себя смелость сделать это за ТС. Выпущен релиз Butterfly 3.1 (оф. сайт)

[vbi]

Да, извеняйте, был в отпуску :)

В версии 3.1:

• Исправлена ошибка ограничения максимального количества результатов
• Изменен принцып фильтрации (Была убрана функция проверки реакции на параметры (проверка на PHP), вместо нее теперь есть возможность проверки фраз фильтра не только на главной странице сайта или на найденной странице, но и на специально указанной странице. )
• Добавлена возможность не только сохранять домены, но и полностью найденные ссилки
• Исправлены некоторые профили

[Nonsys]

Прекрасный софт. Лучший из бесплатных. Но без поддержки прокси Butterfly, нельзя использовать в промышленных масштабах. Также не хватает поддержки антигейта. Отошел от ПК, выскачиала капча, и все, работа остановилась.

[Rotmistr]

Новая версия когда ожидается? И так, для бесплатной версии впечатляет, а чего ожидать от платной?

[vbi]

На счет капчи. Сейчас когда вылетает капча, программа через 10 минут автоматически делает попытку поиска снова по той же странице, и в большинстве случаев успешно продолжает работу. Конечно этого не достаточно. Не добавляю я антигейт и прокси лишь потому, что планирую их сделать платными, а для этого мне сперва нужно продумать и реализовать систему защиты от взлома. Но еще до этого нужно исправить некоторые ошибки (например сохранять адреса русскоязычных ссылок так как представляет поисковик, а не как "%B5%B4").
Я планирую еще до нового года 2013 выпустить Butterfly 3.2 в котором будут исправлены все основные ошибки и сделаны улучшения юзабилити интерфейса. Так же добавлены некоторые функции (например сохранять дубликаты ссылок). Потом через недельку віпущу Butterfly 3.2 для Linux. Это сделать просто, так как пишу на кроссплатформе. После этого сразу займусь системой защиты.
Программа не будет полностью платной. Я планирую сделать возможность подключить тот или иной модуль за дополнительную плату (так как сделано в AddNews).
Извеняйте уж за скорость разработки. Параллельно пишу диссертацию. В феврале закончу, тогда надеюсь будет больше времени .

[vbi]

Выпущен финальный релиз версии 3: Butterfly 3.2

В версии 3.2:

• Изменен алгоритм отбора ссылок
• Реализована возможность сохранять дубликаты ссылок
• Исправлена выдача ссылок Google
• Исправлено отображение кириллических ссылок
• Изменены некоторые значки кнопок для удобства
• Добавлены кнопки открытия папок профилей
• Реализован первичный фильтр профиля поисковика, вместо параметра кеша в профиле
• Добавлена проверка новых версий программы
• Удален профиль поиска Baidu в связи с выставлением ссылок на редирект вместо нормальных ссылок
• Изменены/протестированы все профили
• Добавлены профили поиска: Nigma, Yahoo, Clusty, Aol, Gigablast, Lycos, Teoma, Refer.ru

Детальное описание смотрите на офф. сайте