[fxxer]

Хочу поделиться своими впечатлениями об a-parser Начнем с того, для чего я им пользуюсь:

• сбора инфы об освобождающихся или освободившихся доменах
• парсинга определенных сайтов и автоматическое формирования файла с результатами парсинга
• сбор различных баз и их фильтрация

Пользую апарсером уже около года Для меся "а парсер" стал не заменим так как выполняет очень много функций, и что самое главное, он делает это очень быстро! Все вопросы которые у меня возникали, тех поддержка решала очень оперативно Разобраться с тем как работает парсер проблем не составит даже у новичка, так как вики по софту на высшем уровке Еще один плюс - ТП может за минимальную сумму написать парсер под твои надобности, что существенно экономит время Из минусов - как я понял тех поддержка по выходным не работает :)))))

[Forbidden]

Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string

В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера

1. Где и как можно посмотреть результаты парсинга?
2. Как подключить прокси с авторизацией?
3. Extra query string, что это такое и как применять эту опцию?

В уроке рассмотрено:

• Просмотр результатов парсинга 3-мя способами:
  • Способ первый. "Из очереди заданий, если задание на паузе".
  • Способ второй. "Из очереди заданий, если задание завершено".
  • Способ третий. "Забираем результат из папки results".
• Подключение прокси с авторизацией.
• Примеры использования опции Extra query string.

Полезные ссылки:

• https://a-parser.com/resources/categories/14/ - сохранение результатов (каталог)
• https://a-parser.com/resources/77/ - Сохранение результатов нескольких парсеров в разные папки
• https://a-parser.com/resources/394/ - Сохранение результатов в несколько файлов используя переменные, массивы и условия (видео)
• https://a-parser.com/resources/397/ - Сохранение результатов в Google SpreadSheets
• https://a-parser.com/wiki/proxy/ - Настройка прокси
• https://a-parser.com/wiki/settings-and-presets/ - Общие настройки для парсеров

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

[Forbidden]

Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Аукцион доменов REG.RU
Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.


Определение категорий сайта
Парсер, собирающий категории сайтов из MegaIndex.


Парсинг PDF
Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.


Кроме этого:

• Парсер ссылок локаций для Social::Instagram::Geo - сбор ссылок на локации в Instagram

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[Forbidden]

Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar
Парсер для сбора категорий сайтов из Cloudflare Radar


Rozetka - получение данных по API
Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.


Парсинг объявлений kufar.by
Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.


А также, обновлены следующие ресурсы:

• Парсинг комментариев из Youtube
  
• Парсер собирающий вопросы и ответы из выдачи Google

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[Forbidden]

1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку


Улучшения

• В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • Net::HTTP
  • HTML::LinkExtractor
  • HTML::TextExtractor
  • HTML::TextExtractor::LangDetect
  • Check::BackLink
• Основные улучшения от перевода данных парсеров на Node.js:
  • увеличение производительности в ~1.5 раза
  • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
• Добавлены новые парсеры:
  • DeepL::Translator
  • Rank::Ahrefs::KeywordDifficulty
  • Rank::Ahrefs::KeywordGenerator
• В HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
• В SE::Google::Translate добавлены новые переменные:
  • $translit_orig - оригинальный текст транслитом
  • $translit_translated - переведенный текст транслитом
  • $variants.$i.text - список вариантов перевода оригинального текста
• В SE::Bing обновлен список регионов и языков
• В Social::Instagram::Profile и Social::Instagram::Post добавлена возможность собирать кол-во видеопросмотров
• В SE::Yandex::Translate добавлена возможность отключать использование сессий
• В Net::HTTP добавлена возможность указывать user-agent для Chrome
• В парсере Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
• В Rank::CMS добавлена поддержка нового apps.json и возможность использовать Net::HTTP
• В Net::Whois обновлена поддержка всех зон
• Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
  • "All" - использует все прокси выбранные для задании
  • конкретный проксичекер - использует его, даже если он не выбран в задании
• Добавлена поддержка устаревших версий SSL
• JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
• JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
• JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки

Исправления в связи с изменениями в выдаче

• Множество различных исправлений в SE::Google и SE::Yandex в связи с изменениями в выдаче
• В SE::Yandex удалена функция автораспознавания каптч в связи с изменением вида каптч
• Исправлена работа SE::Google::Translate
• В HTML::EmailExtractor исправлена ошибка, при которой пропускались большие блоки html
• Исправлена ошибка в Social::Instagram::profile из-за которой не парсилось больше одной страницы
• Исправлена авторизация в SE::Google::KeywordPlanner
• В SE::Google::TrustCheck исправлено определение горизонтальных блоков ссылок
• В SE::Baidu исправлен парсинг related keywords
• В Shop::Amazon исправлен сбор продавцов, а также исправлена ошибка, связанная с количество страниц
• Исправлен Rank::Linkpad, а также в нем удалена переменная $links_cost, т.к. этого показателя больше нет на источнике
• В Rank::Social::Signal в связи с неактуальностью удалена переменная $googleplus_like
• В Rank::CMS исправлено определение по признакам скриптов для нового apps.json
• Также адаптированы к изменениям в выдаче: SE::Yandex::Translate, SE::MailRu, Rank::MajesticSEO, SE::Yandex::Direct, SE::Google::ByImage, Rank::Ahrefs, Shop::eBay, SE::Yandex::Register, SE::Seznam, Shop::Yandex::Market, SE::Dogpile, SE::Dogpile::Images, SE::Startpage, SE::Baidu, Shop::AliExpress, SE::Youtube, Rank::Social::Signal, SE::Yandex::SQI, SecurityTrails::Domain

Исправления

• В SE::Yandex исправлена работа Extra query string
• Исправлено регулярное выражение в HTML::EmailExtractor для устранения ошибок в некоторых случаях
• Исправлено поведение парсера SE::Google::KeywordPlanner при отсутствии результатов по запросу
• Maps::Yandex исправлен и переведен на puppeteer
• Исправлена ошибка в приоритетах выбора проксичекера
• JS парсеры: исправлен follow_meta_refresh
• API: исправлена работа параметра rawResults

[Forbidden]

Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places
Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.


Парсер prom.ua
Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.


Скачивание картинок
В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[Forbidden]

1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare



Улучшения

• В HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
• Повышена производительность Shop::Yandex::Market
• В Check::RosKomNadzor добавлена возможность выбирать источник для проверки
• Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
• В Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
• В Rank::Ahrefs расширен перечень собираемых данных
• В SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
• Реализована возможность использовать прокси с одним IP:port, но с разными логинами

Исправления в связи с изменениями в выдаче

• Множество различных адаптаций к изменениям в верстке страниц с результатами в SE::Google и SE::Yandex
• Множество исправлений в Rank::MajesticSEO, связанных с постоянными изменениями в логике запроса и верстке страницы
• В Rank::Alexa::API исправлено получение кода страны
  В Rank::Ahrefs исправлен парсинг рейтинга
• Исправлена работа с каптчами в SE::Yandex, SE::Yandex::SQI, SE::Yandex::Images
• Исправлен парсинг $keywords в SE::Yandex::ByImage
• Исправлена работа SE::Yandex::Direct, SE::Ask, SE::Baidu, SE::Bing::Suggest, Rank::KeysSo, SE::Google::TrustCheck, SE::Google::ByImage, Check::RosKomNadzor, SE::Seznam, SE::MailRu, Rank::Ahrefs, Rank::Ahrefs::KeywordDifficulty, Rank::Ahrefs::KeywordGenerator

Исправления

• Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
• Исправлена ошибка в Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
• В SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
• В SE::Google::KeywordPlanner исправлена авторизация
• Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
• Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий