[Forbidden]

A-Parser - версия 1.0.21

Улучшения:

• Парсер Rank::MajesticSEO теперь также парсит показатели Trust Flow и Citation Flow
• Возможность выбора языка результатов для парсеров SE::Yahoo и SE::Yahoo::Suggest
• В парсер SE::Yandex добавлена поддержка домена yandex.kz
• Теперь возможно вручную указать прокси для любого запроса, для этого необходимо создать результат {proxy} через Query Builder
• В парсер Net::HTTP добавлена опция Detect charset on content, позволяющая автоматически определять кодировку страницы
• В парсер Net::HTTP добавлен результат {proxy}, позволяющий отобразить использованный прокси при запросе
• В API теперь возможно добавлять задания на основе ранее сохранённого пресета из интерфейса

Исправления:

• SE::AOL в связи с изменениями в выдачи
• SE::Google - исправлен парсинг Related keywords
• Исправлено определение кодировки через тег <meta charset=

Ошибка #447: AOL parser not work again
Ошибка #452: Fix charset detecting for <meta charset= tag
Ошибка #460: Fix related keywords parsing in SE::Google
Улучшение #450: Добавить в модуль Net::HTTP {proxy}
Улучшение #451: Смена языка во всех парсерах yahoo(SE::Yahoo, SE::Yahoo::Suggest)
Улучшение #453: Добавить в Rank::MajesticSEO парсинг показателей Trust Flow и Citation Flow
Улучшение #454: API addTask брать настройки из Task preset
Улучшение #455: Ability for select save good proxies with type or not
Улучшение #456: Add yandex.kz domain for SE::Yandex
Улучшение #457: Add 'Detect charset on content' for Net::HTTP - automaticaly detect charset of content if meta charset/charset-encoding not specified
Улучшение #458: Now result {proxy} from Query Builder used as proxy for current query

[Forbidden]

A-Parser - версия 1.0.27

Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:

• Поиск и извлечение данных по регулярному выражению
• Замена по регулярному выражению
• Разделение строки по произвольному разделителю
• Замена подстроки в строке
• Извлечение домена/главного домена из ссылки
• Приведение к верхнему\нижнему регистру
• Удаление HTML-тегов из текста
• Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст

Новый парсер SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле

Исправлено:

• Обработка каптчи в парсере SE::Google
• Парсинг ссылок в SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"

[zloberman]

скорость снятия из WS 40 тыс ключей?
как-то увидеть демо можно? триал буквально на 1 час \ день

[Forbidden]

A-Parser - полностью обновленный сайт

Несколько важных новостей:

• У нас полностью новый сайт, с полной интеграции с форумом. Все пользователи, новости и задачи были успешно перенесены
• Мы подключили мерчант InterKassa, теперь мы принимаем к оплате:
  
  
  Подробнее на странице покупки A-Parser'а: Купить A-Parser
• У нас новый саппорт: Viktoria (контакты)
• Ко всем существующим видам связи(ICQ, Skype, Jabber, GoogleTalk, E-mail) мы добавили онлайн-чат с оператором на сайте

Подписывайтесь на новости и общайтесь на форуме!

скорость снятия из WS 40 тыс ключей?
как-то увидеть демо можно? триал буквально на 1 час \ день

Триала нету к сожалению
скорость снятия 1000 запросов в минуту, т.е. 40 минут примерно:

[Forbidden]

A-Parser - версия 1.0.37

Улучшения:

• При добавлении быстрого задания теперь количество попыток выполнить запрос(Request retries) установлено в 200

Исправления:

• Исправлен парсер SE::YouTube в связи с изменением в выдачи
• Исправлено импортирование заданий(ошибка появилась в предыдущей версии)
• Исправлена обработка каптчи у парсера SE::Google
• Исправлен подсчет количества результатов(ошибка появилась в предыдущей версии)

Связанные задачи:

Ошибка #516: SE::YouTube broken
Ошибка #515: Bug when importing/loading tasks(introduced in 1.0.27)
Ошибка #479: Fix again Google captcha
Ошибка #478: Fix counting results from arrays(bug introduced in 1.0.27)
Улучшение #523: Tasks added from Quick Task now have Request retries = 200
Улучшение #480: Validating parser/preset exists before adding task

[Forbidden]

A-Parser - версия 1.0.49

Улучшения в парсере гугла:

• CaptchaKiller - убийца каптчи для парсера SE::Google - теперь можно парсить inurl: даже на паблик проксях!
  
  В последнее время Google довольно сильно ужесточил парсинг с операторами(inurl:, site: и т.д.), постоянно показывая каптчу(проверочную картинку), что не позволяло спарсить результаты выдачи без использования хороших проксей или сервиса АнтиКаптча. Это улучшение позволяет A-Parser'у автоматически обходить каптчу без использования сервисов
  
  
  
  Сравнение парсинга с CaptchaKiller и без на форуме

• Теперь дополнительно парсятся рекламные блоки - ссылка, анкор и сниппет, что позволяет собрать список конкурентов в Google AdWords
• Также парсер SE::Google теперь сохраняет сессии что позволяет парсить еще быстрее, получая меньшее число ошибок

Улучшения в сохранении результатов:

• Теперь в имени файла результата можно использовать все макросы доступные в Result format, что позволяет в имени файла использовать любую часть результата или запроса(пример: при парсинге Google PR сохранять ссылки в файлы 0.txt - 10.txt, где цифра означает PageRank)
• Теперь возможно указать папку(с неограниченной вложенностью) для сохранения результата
• Комплексный пример: {date}_{time}/parser1({pr}).txt - будет создавать новую папку с текущей датой и временем и автоматически сортировать результаты по файлам

Остальные улучшения:

• В качестве запросов можно использовать файлы из папки с результатами
• В парсере SE::Yandex появился новый результат {misspell} определяющий посчитал ли Яндекс запрос опечаткой или нет
• В ProxyChecker изменена проверочная ссылка по умолчанию
• В API теперь возможно отключить ведение логов
• В парсерe SE::Yahoo убраны результаты {totalcount} и trending[] в связи с изменением в выдаче
• В ProxyChecker теперь возможно отключить проверку загруженных проксей - все прокси будут считаться живыми

Исправления парсеров в связи с изменением в выдаче:

• SE::Bing - не парсились релейтед кейворды
• SE::Yahoo - не парсилась основная выдача и релейтед кейворды
• SE::AOL - не парсилась выдача
• SE::Yandex::Suggest - в некоторых случаях не парсились кейворды
• SE::Yandex - исправлена логика при показе каптчи
• SE::Yandex::WordStat - исправлена логика при показе каптчи
• SE::YouTube - не учитывались параметры фильтров
• Rank::Alexa - не парсился основной рейтинг
• Rank::Ahrefs - не парсилось количество беклинков

Полный список изменений тут: 1.0.49

[Forbidden]

A-Parser - версия 1.0.60

Улучшения в CaptchaKiller для парсера SE::Google

Исправлена загрузка каптчи в SE::Yandex::WordStat и работа фильтров в SE::YouTube

Полный список изменений тут: 1.0.60

[Forbidden]

A-Parser - версия 1.0.69

Новый парсер HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга



В парсере Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:



Другие улучшения:

• Теперь в формате результата есть возможность указать исходный запрос - {firstquery}, позволяет при парсинге в глубину сохранять результаты по файлам с именами изначальных запросов
• В парсер Net::Whois добавлен парсинг NS серверов и статусов доменов
• В парсере Net::Whois теперь используется единый формат даты регистрации и окончания регистрации - dd.mm.yyyy для всех зон
• Новые результаты для всех парсеров:
  
  • {retries} - использованное количество попыток на данный запрос
  • {querynum} - порядковый номер запроса
  • {lvl} - уровень вложенности запроса(при использовании опций Parse all results, Parse to level)
• Для парсера Net::HTTP добавлен параметр Max redirects count - определяет максимальное количество редиректов
• Для всех парсеров SE::Google::* добавлен домен www.google.by
• Теперь есть возможно указать задержку между запросами(актуально только при парсинге в 1 поток)

Исправления:

• Исправлен парсинг подсказок SE::Bing::Suggest
• Исправлено сохранение результатов с двоичными данными(изображения, видео и т.п.)

Подробнее тут: 1.0.69

[Forbidden]

A-Parser - версия 1.0.71

Мини-апдейт, исправляет ошибки:

• В предыдущей версии перестал работать Util::AntiGate, следствием чего перестала работать возможность распознавания каптчи(в парсерах Google, Yandex и т.п.)
• В конструкторе результатов(Results builder) не работала функция замены по регулярному выражению(Regex Replace)
• Парсер падал если не мог создать папку с результатами

Подробнее тут: 1.0.71

В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней)

[Forbidden]

A-Parser - версия 1.0.81

В этой версии только экстренные исправления в связи с изменением в выдаче:

• SE::YouTube
• Rank::Alexa
• Rank::MajesticSEO

Также исправлена некорректная работа парсера при использовании UTF-8 в регулярных выражениях

Подробнее тут: 1.0.81

Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.