[Cortez]

Сегодня наконец-то вышел долгожданный Hrefer 4.0 Professional.
Для тех, кто не вкурсе - Hrefer - парсер из программного комплекса от botmaster labs (Xrumer + Hrefer).
Вот информация, которая размещена на сайте разработчика касательно новой версии.

Нововведения и улучшения в Hrefer 4.0 Professional

+ реализована поддержка UTF-8 и других кодировок в файлах Words и Additive Words
(кодировка определяется автоматически, но при желании можно указать свою)
+ реализован авто-обход капчи Яндекса
(благодаря чему улучшен парсинг не только Яндекса + его сервисов, но и Рамблера)
+ восстановлен парсинг Google, Altavista, Rambler, Baidu, BoardReader, Blogs.Yandex
(для парсинга Google рекомендуем использовать его клон Mail.Com, он в конце списка)
+ теперь опция "Enable filtering of duplicated links on loading links database" по умолчанию включена,
это значит что при загрузке программа будет индексировать уже имеющуюся базу и фильтровать дубли в ходе парсинга корректнее -
но из-за этого может показаться, что после перезапуска парситься стало медленнее; чтобы вернуть как прежде - просто выключите
эту опцию, но в этом случае будет больше дублей при частом рестарте Hrefer-а
+ опция приведения к индексу, напротив, теперь по умолчанию выключена
+ улучшены низкоуровневые функции по работе с сетью
+ улучшен процесс распознавания капчи
+ в меню "Stats" добавлен "Sieve-filter report" для более прозрачного и понятного контроля фильтрации ссылок
+ улучшена обработка редиректов в процессе парсинга
+ добавлена поисковая система Search.Mail.Com (дублёр Google.Com)
+ там же, реализована поддержка обработки капчи
+ обновлён встроенный список юзер-агентов
+ добавлена кнопка "Undo" в окне редактирования "Additive Words"
+ устранён баг замены "%" на "%25" в кодированных запросах
+ увеличена детализация информации в "Help -> About"
+ устранена ошибка переполнения счётчика дублей
+ для большего удобства добавлены подсказки в инструменте тюнинга
+ добавлен чекер googlehost.txt, доступен через меню "Tuning"
+ улучшена работа с относительными путями при переходе на след.страницу (пример - BoardReader)
+ реализовано удаление Query-лога вместе с базой, при нажатии на кнопку "Clean"
+ скорректировано отображение чек-листа поисковых систем
+ устранён баг проверки прокси через цифро-буквенные домены
+ приведены примеры использования регулярных выражений в engines.ini,
см. в инструменте тюнинга Hint-ы в полях "Links mask:", "Next page - 1", "Next page - 2"
+ в отладочном режиме расширено логирование получаемого контента - до/после редиректа, до/после капчи
+ расширена доп.информация в отчёте "имя_базы_query.txt"
+ добавлена система предупреждений
+ удалён лимит по количеству прокси/сокс
+ скорректирована работа опции "Add this pause between threads starting"
+ повышена стабильность работы программы
+ скорректировано возникновение ошибки "Internet connections error"
+ улучшена работа фильтрации по блек-листу xblack.txt
+ из формируемых запросов удалены "Proxy-Connection: Keep-Alive" и "Connection: Keep-Alive"
+ устранена погрешность отображения таблицы "Search engines stats", возникающая после сортировки
+ реализована возможность выпарсивания любого контента, а не только ссылок,
для этого необходимо в hrefer.ini в секции [Search Engine options] прописать параметр HarvestAll=1
+ скорректирован вывод ссылок в инструменте тюнинга, расширены возможности просмотра результатов и анализа
+ добавлены текстовые файлы логики, см. папку LogicFiles
+ реализована подстановка мобильного юзер-агента, в случае если в заголовке ПС содержится слово "mobile",
например "[Google Mobile]"
+ обновлена функция "Add words from Google"
+ добавлена возможность просмотра HTML-содержимого каждого потока, см. контекстное меню таблицы потоков,
пункт "View last HTML content"
+ минимальная периодичность авто-сохранения результатов увеличена до 5-ти минут
+ минимальная периодичность авто-обновления прокси увеличена до 10-ти минут
+ усилена защита от нелегального копирования (к сожалению, из-за этого некоторые функции могут запускаться медленнее)
+ реализована возможность использовать прокси только для указанных поисковых систем
+ устранен баг доп.попыток ("Try") для тех потоков, где прокси отключены
+ реализовано чтение и вывод капчи на Baidu (пока - только через ручной/антикапча режим)
+ добавлен инструмент анализа отчётов xproxy_stats.htm / xsocks_stats.htm

[свернуть]

Небольшой F.A.Q. по новой версии Hrefer-а

Вопрос: Гугл постоянно банит мой IP и все прокси тоже, как быть?!
Ответ: Как вариант, можно парсить "клон" Гугла, это Mail.com, он добавлен в конце списка, выдача абсолютно идентична Гуглу

Вопрос: Какие капчи Hrefer теперь распознаёт автоматом?
Ответ: Как уже сказано в описании, это капча Яндекса (цифровая, т.к. именно она используется в выдаче поисковика).

Вопрос: После рестарта программы больше не собираются ссылки так быстро как раньше, почему?!
Ответ: Потому что теперь по умолчанию включена опция фильтрации дублей при старте, поэтому теперь после рестарта программа дубли отсеивает а не добавляет. Если Вы хотите, чтоб было как раньше, просто отключите эту опцию - но тогда придётся чистить базу от дублей после парсинга.

Вопрос: У меня отключена фильтрация выдачи через "Sieve-Filter", но всё равно даже при проходе 10 страниц выдачи, программа собирает всего несколько ссылок - а не все 100, почему?!
Ответ: Обратите внимание на показатель "Filtered duplicated hosts: ..." внизу окна программы, очень много ссылок отфильтровывается как дубли (по хостам). Просто отключите фильтрацию дублей, и сохраняться будет всё.

Вопрос: Как использовать регулярные выражения в engines.ini?
Ответ: В "Tuning -> engines.ini" есть подсказки (Hint-ы) у полей, где можно использовать регулярные выражения, в них приведены примеры

Вопрос: В выпадающем меню вижу новый пункт "View last HTML content". Чем он принципиально отличается от соседнего пункта "Browse"?
Ответ: Он позволяет посмотреть, как видит поисковую систему именно этот поток, какой именно контент он получил от поисковой системы. Это особенно полезно видеть при работе с прокси или соксами, что показывает ПС именно под текущим прокси. Тогда как "Browse" просто открывает такой же запрос по отдельности в браузере.

Вопрос: Программа не загрузила настройки при запуске, и не хочет стартовать парсинг и/или обновление прокси. Почему?
Ответ: По каким-то причинам не прошла дополнительная процедура авторизации. Настоятельно рекомендуем закрыть программу через Диспетчер задач, после чего убедиться что наш официальный сайт с Вашего компьютера открывается без проблем, а также попробуйте сбросить настройки IE на дефолтовые.

[свернуть]

[cccp1917]

Вышел. Первый день идеально собирал и пробивал капчу яндекса.
Затем вышел 4.1 и все.
Халява закончилась. Видемо Ботмастер огорчился.
У друга есть пробовал юзать. )))

[masay]

Наконец-то приятная новость от Ботмастера! Месяц назад нужно было спарсить гугл, так 3 дня с настройками и остальной лабудой игрался.

[Dolmatov]

Лучше бы русски язык добавили, обновлю.

[rus154]

Подскажите кто-нить, как победить иероглифы вместо русского языка в hrefer 3.85 professional.
Спасиб.