A-Parser - версия 1.0.91
Новый парсер SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:
Новый парсер SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:
Теперь парсер гугла SE::Google может парсить по новостям и блогам:
Парсер Яндека SE::Yandex дополнительно парсит рекламные объявления в выдаче:
Другие улучшения:
- Можно выбрать несколько файлов для обработки - на каждый файл будет создано свое задание:
- Теперь в апарсере есть новости и подсказки на английском и русском:
Исправления:
- В парсере Net::HTTP появилась возможность указать Cookies
- В парсер HTML::TextExtractor добавлена возможность отключить парсинг анкоров у ссылок
Подробнее тут: 1.0.91
- Исправлен парсер Rank::Ahrefs в связи с изменением в выдаче
- Исправлена ошибка при которой парсер мог упасть при большом числе файлов запросов
- Исправлена работа конструктора результатов Results builder при использовании макроса {query}
- Отсутствовала прокрутка в тестовом парсинге
- Иногда число активных заданий могло уменьшаться
A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc
(Ответов: 284, Просмотров: 32245)
- 05.08.2013 10:24
- 10.08.2013 16:30
A-Parser - версия 1.0.95
Исправление парсера SE::Yandex::WordStat - Яндекс целиком изменил сервис и мы одни из первых исправили парсер :)
Версия с поддержкой каптчи выйдет немного позже.
Также исправлен парсинг ссылок объявлений в парсере SE::Yandex
Подробнее тут: 1.0.95 - 19.08.2013 09:59
A-Parser - версия 1.0.99
Вновь исправлен SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч
Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.
Обновлен список языков для всех парсеров гугла SE::Google::*
Исправления:- В парсере HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам
- В парсере SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях
- Исправлено зависание при парсинге SE::Baidu
- В интерфейсе иногда могли пропадать настройки парсеров
- Исправлен SE::YouTube в связи с изменением в выдаче
- 26.08.2013 10:32
A-Parser - версия 1.0.111
Расширение API:- Новый метод info - получение информации о PID, версии парсера и количества заданий в очереди
- Новый метод getTaskConf - получение полных настроек задания по его ID
- AParser.pm - Perl модуль, реализует текущее API
В парсеры SE::Bing::Suggest и SE::Yahoo::Suggest добавлена опция Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенности
В парсере Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайта
Исправлены:- SE::DMOZ - в связи с изменение в выдаче
- Опция Match subdomains(проверка сабдоменов) во всех парсерах позиций сайта(Positions) - ошибка появилась в предыдущей версии
- 06.09.2013 16:18
A-Parser - версия 1.0.119
Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется
В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы SE:: DuckDuckGo
Обновлен список доменов гугла в парсере SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})
Исправления:- Иногда ссылка на первый ролик в SE::YouTube парсилась некорректно
- Исправлено падение в некоторых случаях после постановки задания на паузу
- Исправлен двойной запуск задачи после паузы, баг появился в одной из предыдущих версий
- При дублировании задания частично пропадали настройки Results Builder
- 02.10.2013 11:36
A-Parser - версия 1.0.130
Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.
Улучшения:- Новый макрос результата {dump} - выводит в удобном виде все результаты получаемые парсером
- Улучшен парсинг SE::AOL - теперь необходимо гораздо меньше попыток для успешного парсинга
- Теперь парсер SE::Bing парсит до 1000 результатов с каждого запроса
- В парсере SE::Google::pR если у домена или страницы нету PageRank то в результате выведет -1
- Парсер SE::DMOZ переименован в Rank::DMOZ
- Исправлена работа уникализации результатов в тесте A-Parser'а
- Исправлено автоматическое удаление временных файлов при работе уникализации
- Rank::Alexa в связи с изменением в выдаче
- SE::Google::Compromised в связи с изменением в выдаче
- SE::QIP в связи с изменением в выдаче
- SE::DuckDuckGo в связи с изменением в выдаче
- SE::Yandex::WordStat в связи с изменением в выдаче
- Rank::DMOZ ошибка при проверке домена с www.
- Rank::Ahrefs в связи с изменением в выдаче
- 14.10.2013 10:18
A-Parser - версия 1.0.148
Новый парсер SE::Yandex::Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.
Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:
На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту
В парсере HTML::TextExtractor теперь корректно обрабатываются списки(<select>)
Исправления в связи с изменением в выдаче:- Rank::Alexa
- SE::Google - определение запросов по которым нет результатов
- Исправлена логика работы Parse all results(Parse to level) совместно с макросами перебора букв(или фраз из файла)
- При парсинге SE::YouTube в некоторых случаях некорректная обработка UTF-8 могла приводить к падению парсера
- При парсинге SE::Yandex::WordStat::ByDate с пустым запросом парсер падал с ошибкой
- В Perl-модуле AParser.pm исправлено добавление задания с запросами из файла(для пользователей с Enterprise лицензией)
- Парсер SE::Yandex мог прекратить парсинг запроса если прокси вернула некорректный редирект(актуально для паблик-прокси)
- Исправлено некорректное сохранение данных в UTF-8 во многих парсерах
- Редактирование задания в очереди приводило к невозможности запустить это задание(с ошибкой о несуществующем файле запросов)
- 25.10.2013 10:22
A-Parser - версия 1.0.154
В связи с тем что WordStat теперь можно парсить только используя аккаунты появился новый парсер SE::Yandex::Register - автоматически регистрирует тысячи аккаунтов используя антигейт.
На скриншоте пример регистрации 1000 аккаунтов за 15 минут. Скорость ограничена возможностями антигейта.
Парсеры SE::Yandex::WordStat и SE::Yandex::WordStat::ByDate теперь поддерживают авторизацию и позволяют парсить миллионы кейвордов и проверять частотность без использования антигейта. Теперь затраты на каптчу только при регистрации аккаунтов!
Другие улучшения:- Теперь A-Parser поддерживает неограниченное число вложенных запросов(при использовании опции Parse to level)
- Теперь все парсеры позиций сайтов по ключевым словам могут сравнивать искомую позицию по домену, по главному домену и по полной ссылке(опция Match type)
- В парсер SE::Yandex добавлен результат geo, который определяет является ли запрос гео-зависимым(предупреждение о показе результатов для конкретного региона)
- Исправлен парсер подсказок SE::Google::Suggest в связи с изменением в выдаче
- Исправлен парсер SE:: DuckDuckGo - в связи с изменением в выдаче некорректно определял последнюю страницу
- При использовании очень больших файлов запросов парсер мог вылетать при возобновлении работы задания после паузы
- 09.11.2013 10:12
A-Parser - версия 1.0.180
Парсер Яндекса SE::Yandex:- Добавлена опция Parse not found, определяющая парсить ли выдачу если по искомому запросу найдено ноль результатов и предложена выдача по другому запросу
- Теперь яндекс гораздо реже показывает каптчу
- Исправлена отправка каптчи в связи с изменением в выдачи
- В некоторых случаях неверно отправлялся запрос на антигейт о неправильной каптчи
- Улучшена работа с аккаунтами - неверно определялся заблокированный аккаунт
- Нельзя было использовать антигейт совместно с аккаунтами
- Реализована статистика работы по каждому заданию, в текущей версии считает количество успешных запросов, использование проксей, попыток и HTTP-запросов
- Теперь при просмотре логов неудачные запросы выделяются красным цветом для удобства отладки
- Небольшие улучшения в скорости работы прокси
- Исправлен парсер SE::AOL в связи с изменением в выдачи
- Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
- Исправлен парсер SE::Google::TrustCheck в связи с изменением в выдачи
- Исправлено разделение логов по запросам
- 12.11.2013 14:25
A-Parser - версия 1.0.183 - Русская каптча и эмуляция браузера в Яндексе
Теперь в настройках Антигейта( Util::AntiGate) появилась возможность указать дополнительные настройки для каптчи: длину, регистрозависимость, состоит ли каптча только из цифр или её необходимо отправить русскоговорящему сотруднику, и т.п.
Яндекс ввел показ русской каптчи в выдачи, теперь парсер корректно обрабатывает её:
В дополнении к этому в парсере SE::Yandex появилась опция эмуляции браузера, что позволяет добиться высокой скорости парсинга и малого расхода каптч. Парсинг топ-50 выдачи Яндекса в 500 потоков с использованием антигейта(средняя скорость ~2000 запросов в минуту):
Исправления:- Исправлен парсинг сниппетов в парсере SE::Google
Тэги топика:
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
LTK Parser - парсер поисковых подсказок на разных языках | Софт, скрипты, лицензии | 12 | 06.05.2012 21:10 |
Парсер контента под дорвеи и сателлиты X-Parser | Софт, скрипты, сервисы | 0 | 15.08.2010 23:51 |
KD Parser - парсер ключевых слов | Софт, скрипты, лицензии | 2 | 10.04.2010 21:47 |
Хороший Парсер Я.Директ и Wordstat - Магадан | Поисковые системы | 10 | 24.11.2009 16:52 |
Хороший Парсер Я.Директ и Wordstat - Магадан | Софт, скрипты, сервисы | 4 | 15.09.2009 19:38 |