[Forbidden]

A-Parser - версия 1.0.198 - Улучшения в работе с Google, множественные исправления

Улучшения:

• Улучшения в работе с сессиями в парсере SE::Google - уменьшено использование каптч
• Улучшения в работе с сессиями в парсере SE::Yandex::WordStat::ByDate - уменьшено использование каптч
• Парсер Net::HTTP теперь возвращает контент для обработки при любых ответах сервера(в т.ч. неудачных)

Исправления:

• В парсере SE::Google не распознавалась каптча
• В парсере SE::Yandex не сохранялись сессии
• HTTP прокси с авторизацией не работали в комбинации с некоторыми парсерами(например SE::Yandex)
• Макрос результата {firstquery} (первый запрос при использовании вложенного парсинга или парсинга с подстановками) не корректно работал с подстановками
• Исправлено определение количества результатов в выдаче в парсере SE::Google
• Парсер SE::Yandex::WordStat::ByDate не возвращал недельную разбивку, теперь выбор периода разбивки добавлен в настройки
• Парсер SE::Google::Compromised в некоторых случаях работал некорректно
• Исправлен парсер SE::AOL
• Исправлен парсер Rank::OpenSiteExplorer

Подробнее тут: Версия 1.0.198

[Forbidden]

A-Parser - версия 1.0.201 - обновлен парсер картинок Google, парсинг Bing News

Улучшения

• Полностью переписан парсер картинок SE::Google::Images - теперь он парсит новую выдачу, до 10 страниц по 100 результатов
• Парсер SE::Bing теперь поддерживает парсинг Bing News, также теперь можно выбрать время выдачи(за все время, за 24 часа, за неделю или за месяц)
• Парсер HTML::LinkExtractor теперь автоматически считает внутренними ссылки с поддоменов www. и ftp., возможность учитывать все поддомены как внутренние оставлена без изменений

Исправления

• Исправлен парсер SE::Bing::LangDetect в связи с изменением в выдачи
• Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
• Парсер SE::Google некорректно работал с каптчей при использовании регионального домена Google
• Парсер SE::Yandex::WordStat зацикливался при работе с прокси, что приводило к остановке парсинга

Подробнее: Изменения в версии 1.0.201

[Демиург]

Замечательный парсер, как по мне. И отзывчивость саппорта (точнее самого автора ПО) вызывает уважение. Спасибо за продукт :)

[Forbidden]

A-Parser - 1.0.214 - новогоднее обновление, более 30 изменений!

Всех с наступающим Новым годом! Мы заготовили вам большой подарок, включающий более 30 изменений!


Интерфейс претерпел множество изменений:

• Переработано отображение задания в очереди, теперь оно более наглядное и информативное
• Настройки теперь сгруппированы по закладкам, что сильно упрощает навигацию
• Появилась возможность перемещать задание непосредственно в начало или в конец очереди
• Обновлен перевод всех элементов на русский язык
• В задании отображается прогресс в виде процента выполненных запросов
• Иконка теперь корректно отображается во всех браузерах
• Основное окно теперь можно позиционировать в верхний левый угол и масштабировать на всю рабочую область браузера
• Исправлена ошибка в импорте пресетов

Добавлены новые парсеры, общее число парсеров перевалило за 50:

• Rank::Linkpad - парсер беклинков(линк, анкор, уровень вложенности) и статистики(число беклинков, доноров, iGood и т.д.) с сервиса linkpad.ru(бывший solomono)
• SE::Bing::Images - парсер картинок с поисковика Bing(ссылка, размер, разрешение и сниппет)
• SE::Yandex::WordStat::ByRegion - парсер статистики ключевых слов по регионам и городам в Вордстате
• SE::Yandex::Webmaster::Index - быстрая оценка количества проиндексированных страниц в Яндексе
• SE::Google::Trends - парсер кейвордов в тренде по версии Google, дополнительно парсит принадлежность кейвордов к группам
• Rank::Alexa::API - быстрый чекер алексы через API

Улучшения:

• В парсер Яндекса SE::Yandex добавлен парсинг ссылки на кэш страницы, также теперь парсер пробует использовать другую прокси если Яндекс принудительно перенаправляет на региональный домен(ua, kz, tr)
• Теперь можно производить уникализацию, фильтрацию и применять конструктор результатов ко всем результатам созданным пользователем с использованием фукнции Parse custom result(парсинг произвольного контента с помощью регулярных выражений)
• В настройках теперь возможно указать тип переноса строки используемый по умолчанию(Windows или Linux)
• Добавлена возможность сохранять неудачные запросы
• В статистику работы задания добавлен вывод забаненых проксей для каждого используемого парсера
• Файл с запросами теперь можно выбирать из подпапок
• В парсер частотности ключевых слов SE::Yandex:: Direct::Frequency добавлен парсинг дополнительных ключевых слов(подсказок)
• В парсер Вордстата SE::Yandex::WordStat добавлена возможность выбора сразу нескольких регионов для оценки

Исправления:

• Rank::MajesticSEO в связи с изменением в выдаче
• Rank::Ahrefs в связи с изменением в выдаче
• SE::AOL в связи с изменением в выдаче
• Net::Whois - некорректно определял незанятые домены в некоторых зонах
• Исправлено падение в некоторых случаях при использовании большого файла запросов совместно с уникализацией запросов

Подробнее: Изменения в версии 1.0.214

[Forbidden]

A-Parser - версия 1.0.218

Улучшения

• Парсер Net::Whois теперь поддерживает работу с интернациональными доменами(IDN, например яндекс.рф)
• Для парсера SE::AOL добавлена опция No results is error - в некоторых случаях аол может вернуть пустую выдачу на вполне нормальный запрос, с этой опцией запросы с пустой выдачей будут перепаршиваться повторно

Исправления

• Парсер картинок SE::Google::Images в связи с изменением в выдаче
• Парсер SE::AOL в связи с изменением в выдаче
• При использовании API после некоторого числа запросов оно переставало отвечать
• Парсер SE::Baidu в связи с изменением в выдаче
• Исправлена ошибка в обработке списка файлов запросов, что приводило к невозможности выбрать файл запроса из папки queries/
• Опция Try in Parser Test работала некорректно
• Исправлена ошибка в интерфейсе при составлении заданий с использованием опций Parse custom result/Results Builder, появившаяся в предыдущей версии

Подробнее: Изменения в версии 1.0.218

[Forbidden]

A-Parser - версия 1.0.223

Новые парсеры:

• SE::Yandex::Catalog - парсер сайтов по Яндекс.Каталогу, парсит ссылку, анкор, сниппет, категорию и гео-привязку. Также парсит количество результатов по запросу
• Rank::Archive - парсит дату первого и последнего кэширования сайта в веб архиве(archive.org), также парсит количество сохраненных копий сайта. Данный парсер будет очень полезен для оценки доменов

Исправления:

• Парсер SE::AOL в связи с изменением в выдачи
• Парсинг связанных кейвордов(related) в парсере SE::Bing в связи с изменением в выдачи
• В некоторых случаях могли не передаваться дополнительные параметры к запросу(Extra query string)

Подробнее: Изменения в версии 1.0.223

[Forbidden]

A-Parser - версия 1.0.232 - Новый шаблонизатор результатов, подстановка переменных и многое другое

Поздравляем всех защитников отечества с их профессиональным праздником!

В A-Parser включен шаблонизатор Template Toolkit - мощный инструмент для форматирования результатов, запросов, строк поиска и сравнения и т.д.; его основные особенности:

• Поддержка переменных, условий, циклов, макросов
• Множество встроенных функций для строк, массивов и хешей
• Неограниченные возможности по расширению
• Подробная документация на русском и английском языках

На данный момент по умолчанию действует старый шаблонный движок, тем самым позволяя использовать все ранее сохраненные настройки. Полный переход на новый движок будет плавный и будет включать следующие этапы:

• Развернутый пост о преимуществах с примерами на следующей неделе
• Обновление конфигурации A-Parser с новым синтаксисом формата вывода результатов
• Выпуск версии с поддержкой нового шаблонизатора по умолчанию
• Помощь со стороны технической поддержки в адаптации старых проектов

Новый синтаксис применяется если шаблон содержит комбинацию [% ... %], уже сейчас новый синтаксис можно использовать в:

• Шаблонах форматирования результатов(Result format)
• Шаблоне имени файла(Result file name)
• Фильтрах результатов для подстановки переменных данных(запросов, результатов) в условия сравнения
• Функции поиска по регулярному выражению(Parse custom result) в качестве части регулярного выражения

Другие улучшения:

• Добавлена функция сохранения исходного кода страниц, с которых осуществляется парсинг, что даёт возможность дополнительной обработки результатов(Raw data results)
• Подстановка запросов(или результатов) в условия для сравнения в фильтрах и как часть регулярного выражения для Parse custom result
• Дополнительный параметр к HTTP запросу(Extra query string) теперь подставляется только для главных запросов, от которых ожидаются результаты парсинга. Для вспомогательных запросов(работа с cookie, каптчей, авторизацией) этот параметр не подставляется

Исправления:

• Исправлена утечка памяти при обработке кодировки некоторых сайтов и сервисов
• Исправлен парсер SE::Yandex - в связи с изменением в выдаче результаты из рекламных блоков считались результатами основной выдачи
• Парсер Rank::CMS не работал при использовании функции логирования долгих регулярных выражений(Log long running regex)

Подробнее тут: Версия 1.0.232

[Forbidden]

Новый шаблонизатор в A-Parser

Зачем?

• Расширение возможностей - старый шаблонизатор был ограничен в возможностях, фактически он не умел ничего кроме вывода переменных и массивов
• Наглядный пример: используя шаблоны можно результаты парсинга автоматически преобразовать в дорвеи, готовые для загрузки на хостинг! Другой пример: готовый отчет по анализу доменов в виде HTML или CSV файла
• Лёгкий способ использовать переменные данные(запросы, результаты парсинга) на всех этапах работы парсера(формирование запроса; фильтрация, уникализация, форматирование, дополнительная обработка результатов)
• Исчерпывающая документация: Template Toolkit - проверенный времен шаблонный движок, который имеет большое сообщество пользователей

Массив? Переменная? Мне нужно программировать?

• Однозначно нет :) A-Parser рассчитан на широкую аудиторию и из коробки позволяет выполнять все основные задачи без каких либо дополнительных знаний
• Шаблоны призваны упростить решение сложных комплексных задач, например подсчет количества ссылок в топ10 выдачи Яндекса, в которых встречается исходный запрос в анкоре
• Шаблон - не язык программирования, он содержит около 5 основных макросов которые легко запомнить и использовать

Читать далее

[Forbidden]

A-Parser - версия 1.0.236 - промежуточный релиз, исправление текущих ошибок

Улучшения:

• Теперь можно перемещать задания в очереди используя API - добавлен метод moveTask
• Многократно увеличена скорость при обработке регулярных выражений в Parse custom result

Исправления:

• Исправлена ошибка в SE::Yandex приводящая к падению парсера, ошибка появилась в предыдущей версии
• Исправлен парсер SE::YouTube в связи с изменением в выдаче
• Парсер мог упасть при использовании неправильного регулярного выражения, ошибка появилась в предыдущей версии
• Исправлен регистратор аккаунтов в Яндексе SE::Yandex::Register в связи с изменением в выдаче
• Исправлен парсер SE::Yahoo в связи с изменением в выдаче

Подробнее тут: Версия 1.0.236

[Forbidden]

A-Parser - 1.0.268 - Бета версия, полный переход на новый шаблонизатор, множество улучшений

Основные улучшения:

• Переход на систему быстрых обновлений, теперь получить обновление на канале бета-версии можно за пару минут
• Полный переход на новый шаблонизатор, старый синтаксис более недоступен
• Все настройки в автоматическом режиме преобразуются под новый синтаксис при первом старте парсера
• Создан инструмент для тестирования шаблонов, в нем можно проверить форматирование до парсинга
• В настройках можно указать часто используемые макросы и функции, которые будут доступны в любом месте где используется шаблонизатор
• Шаблоны также работают в полях Prepend и Append - автоматическое добавление заголовка и окончания для файлов результатов
• Теперь шаблон можно задавать в удобном многострочном редакторе
• Увеличена скорость работы конструктора запросов и результатов
• В парсере SE::Yandex::Suggest теперь можно выбрать произвольный регион, в т.ч. на основе IP адреса

Исправления в связи с изменениями в выдачи:

• Исправлена опция эмуляции браузера для парсера SE::Yandex
• Исправлен парсинг выдачи SE::Yandex при запросах вида url:, а так же исправлен парсинг рекламных блоков
• Исправлен парсер тИЦ SE::Yandex::TIC
• Исправлен парсер Rank::Ahrefs - выдавал неверные данные
• Исправлен парсинг общего числа результатов в SE::Baidu
• Исправлен парсер Rank:: DMOZ
• Исправлен парсер картинок SE::Google::Images
• Исправлен парсинг описаний к видео в SE::YouTube

Информация

• Для обновления необходимо зайти в Members Area, раздел Downloads, в секции A-Parser Beta запросить обновление кликнув по Update
• Все вопросы по новому синтаксису шаблонов можно задавать в этом топике
• Для желающих тестировать самые последние версии создан отдельный скайп-чат, подробнее тут

Список всех изменений в версии 1.0.268