A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc

(Ответов: 284, Просмотров: 32245)
Страница 5 из 29 Первая ... 3456715 Последняя
  1. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.91

    Новый парсер SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:


    Новый парсер SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:


    Теперь парсер гугла SE::Google может парсить по новостям и блогам:


    Парсер Яндека SE::Yandex дополнительно парсит рекламные объявления в выдаче:


    Другие улучшения:
    • Можно выбрать несколько файлов для обработки - на каждый файл будет создано свое задание:


    • Теперь в апарсере есть новости и подсказки на английском и русском:

    • В парсере Net::HTTP появилась возможность указать Cookies
    • В парсер HTML::TextExtractor добавлена возможность отключить парсинг анкоров у ссылок
    Исправления:
    • Исправлен парсер Rank::Ahrefs в связи с изменением в выдаче
    • Исправлена ошибка при которой парсер мог упасть при большом числе файлов запросов
    • Исправлена работа конструктора результатов Results builder при использовании макроса {query}
    • Отсутствовала прокрутка в тестовом парсинге
    • Иногда число активных заданий могло уменьшаться
    Подробнее тут: 1.0.91
    • 0
  2. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.95

    Исправление парсера SE::Yandex::WordStat - Яндекс целиком изменил сервис и мы одни из первых исправили парсер :)
    Версия с поддержкой каптчи выйдет немного позже.
    Также исправлен парсинг ссылок объявлений в парсере SE::Yandex

    Подробнее тут: 1.0.95
    • 0
  3. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.99

    Вновь исправлен SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч

    Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.

    Обновлен список языков для всех парсеров гугла SE::Google::*

    Исправления:
    • В парсере HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам
    • В парсере SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях
    • Исправлено зависание при парсинге SE::Baidu
    • В интерфейсе иногда могли пропадать настройки парсеров
    • Исправлен SE::YouTube в связи с изменением в выдаче
    Подробнее тут: 1.0.99
    • 0
  4. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.111

    Расширение API:
    Парсеры SE::Yandex::WordStat и SE::Yandex::WordStat::ByDate полностью исправлены после последних обновлений Яндекса. Средняя скорость проверки теперь составляет 5000 кейвордов в минуту без использования антигейта.

    В парсеры SE::Bing::Suggest и SE::Yahoo::Suggest добавлена опция Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенности

    В парсере Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайта

    Исправлены:
    • SE::DMOZ - в связи с изменение в выдаче
    • Опция Match subdomains(проверка сабдоменов) во всех парсерах позиций сайта(Positions) - ошибка появилась в предыдущей версии
    Подробнее тут: 1.0.111
    • 0
  5. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.119

    Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут

    Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)

    Исправлена обработка каптчи в парсере SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется

    В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm

    Добавлен парсер новой поисковой системы SE:: DuckDuckGo

    Обновлен список доменов гугла в парсере SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})

    Исправления:
    • Иногда ссылка на первый ролик в SE::YouTube парсилась некорректно
    • Исправлено падение в некоторых случаях после постановки задания на паузу
    • Исправлен двойной запуск задачи после паузы, баг появился в одной из предыдущих версий
    • При дублировании задания частично пропадали настройки Results Builder
    Подробнее тут: 1.0.119
    • 0
  6. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.130

    Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.

    Улучшения:
    • Новый макрос результата {dump} - выводит в удобном виде все результаты получаемые парсером
    • Улучшен парсинг SE::AOL - теперь необходимо гораздо меньше попыток для успешного парсинга
    • Теперь парсер SE::Bing парсит до 1000 результатов с каждого запроса
    • В парсере SE::Google::pR если у домена или страницы нету PageRank то в результате выведет -1
    • Парсер SE::DMOZ переименован в Rank::DMOZ
    Исправления:
    • Исправлена работа уникализации результатов в тесте A-Parser'а
    • Исправлено автоматическое удаление временных файлов при работе уникализации
    • Rank::Alexa в связи с изменением в выдаче
    • SE::Google::Compromised в связи с изменением в выдаче
    • SE::QIP в связи с изменением в выдаче
    • SE::DuckDuckGo в связи с изменением в выдаче
    • SE::Yandex::WordStat в связи с изменением в выдаче
    • Rank::DMOZ ошибка при проверке домена с www.
    • Rank::Ahrefs в связи с изменением в выдаче
    Подробнее тут: 1.0.130
    • 0
  7. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.148

    Новый парсер SE::Yandex::Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.
    Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:


    На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту

    В парсере HTML::TextExtractor теперь корректно обрабатываются списки(<select>)

    Исправления в связи с изменением в выдаче:
    • Rank::Alexa
    • SE::Google - определение запросов по которым нет результатов
    Другие исправления:
    • Исправлена логика работы Parse all results(Parse to level) совместно с макросами перебора букв(или фраз из файла)
    • При парсинге SE::YouTube в некоторых случаях некорректная обработка UTF-8 могла приводить к падению парсера
    • При парсинге SE::Yandex::WordStat::ByDate с пустым запросом парсер падал с ошибкой
    • В Perl-модуле AParser.pm исправлено добавление задания с запросами из файла(для пользователей с Enterprise лицензией)
    • Парсер SE::Yandex мог прекратить парсинг запроса если прокси вернула некорректный редирект(актуально для паблик-прокси)
    • Исправлено некорректное сохранение данных в UTF-8 во многих парсерах
    • Редактирование задания в очереди приводило к невозможности запустить это задание(с ошибкой о несуществующем файле запросов)
    • 0
  8. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.154

    В связи с тем что WordStat теперь можно парсить только используя аккаунты появился новый парсер SE::Yandex::Register - автоматически регистрирует тысячи аккаунтов используя антигейт.


    На скриншоте пример регистрации 1000 аккаунтов за 15 минут. Скорость ограничена возможностями антигейта.

    Парсеры SE::Yandex::WordStat и SE::Yandex::WordStat::ByDate теперь поддерживают авторизацию и позволяют парсить миллионы кейвордов и проверять частотность без использования антигейта. Теперь затраты на каптчу только при регистрации аккаунтов!



    Другие улучшения:
    • Теперь A-Parser поддерживает неограниченное число вложенных запросов(при использовании опции Parse to level)
    • Теперь все парсеры позиций сайтов по ключевым словам могут сравнивать искомую позицию по домену, по главному домену и по полной ссылке(опция Match type)
    • В парсер SE::Yandex добавлен результат geo, который определяет является ли запрос гео-зависимым(предупреждение о показе результатов для конкретного региона)
    Исправления:
    • Исправлен парсер подсказок SE::Google::Suggest в связи с изменением в выдаче
    • Исправлен парсер SE:: DuckDuckGo - в связи с изменением в выдаче некорректно определял последнюю страницу
    • При использовании очень больших файлов запросов парсер мог вылетать при возобновлении работы задания после паузы
    Подробнее тут: Версия 1.0.154
    • 0
  9. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.180

    Парсер Яндекса SE::Yandex:
    • Добавлена опция Parse not found, определяющая парсить ли выдачу если по искомому запросу найдено ноль результатов и предложена выдача по другому запросу
    • Теперь яндекс гораздо реже показывает каптчу
    • Исправлена отправка каптчи в связи с изменением в выдачи
    • В некоторых случаях неверно отправлялся запрос на антигейт о неправильной каптчи
    Парсер Яндекс Вордстата SE::Yandex::WordStat:
    • Улучшена работа с аккаунтами - неверно определялся заблокированный аккаунт
    • Нельзя было использовать антигейт совместно с аккаунтами
    Другие улучшения:
    • Реализована статистика работы по каждому заданию, в текущей версии считает количество успешных запросов, использование проксей, попыток и HTTP-запросов
    • Теперь при просмотре логов неудачные запросы выделяются красным цветом для удобства отладки
    • Небольшие улучшения в скорости работы прокси
    Исправления:
    • Исправлен парсер SE::AOL в связи с изменением в выдачи
    • Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
    • Исправлен парсер SE::Google::TrustCheck в связи с изменением в выдачи
    • Исправлено разделение логов по запросам
    Подробнее тут: Изменения в версии 1.0.180
    • 0
  10. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    A-Parser - версия 1.0.183 - Русская каптча и эмуляция браузера в Яндексе

    Теперь в настройках Антигейта( Util::AntiGate) появилась возможность указать дополнительные настройки для каптчи: длину, регистрозависимость, состоит ли каптча только из цифр или её необходимо отправить русскоговорящему сотруднику, и т.п.

    Яндекс ввел показ русской каптчи в выдачи, теперь парсер корректно обрабатывает её:


    В дополнении к этому в парсере SE::Yandex появилась опция эмуляции браузера, что позволяет добиться высокой скорости парсинга и малого расхода каптч. Парсинг топ-50 выдачи Яндекса в 500 потоков с использованием антигейта(средняя скорость ~2000 запросов в минуту):


    Исправления:
    • Исправлен парсинг сниппетов в парсере SE::Google
    Подробнее тут: Изменения в версии 1.0.183
    • 0
Страница 5 из 29 Первая ... 3456715 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
LTK Parser - парсер поисковых подсказок на разных языках
Софт, скрипты, лицензии 12 06.05.2012 21:10
Парсер контента под дорвеи и сателлиты X-Parser
Софт, скрипты, сервисы 0 15.08.2010 23:51
KD Parser - парсер ключевых слов
Софт, скрипты, лицензии 2 10.04.2010 21:47
Хороший Парсер Я.Директ и Wordstat - Магадан
Поисковые системы 10 24.11.2009 16:52
Хороший Парсер Я.Директ и Wordstat - Магадан
Софт, скрипты, сервисы 4 15.09.2009 19:38

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры