[Forbidden]

Дайджест новостей A-Parser

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.

• Добавлено использование браузера при Mode = AI Grammar Spell Checker
• Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера

Парсер HypeStat
Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.

• Исправлен сбор результатов
• Некоторые результаты вынесены из массивов в обычные (плоские) результаты

Сокращатель ссылок
Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.

• Исправлены: 1pt.co, clck.ru, urlshort.dev
• Отключен gg.gg, т.к. сервис не работает

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

[Forbidden]

1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы



Улучшения

• Добавлен новый парсер Maps::Google::Reviews, который позволяет парсить отзывы к местам на Google картах
• Парсер SE::Bing полностью переписан, полный список изменений тут
• Добавлены альтернативные сервера авторизации для пользователей из РФ
• Улучшена работа Shop::Amazon: значительно снижена вероятность бана
• Улучшена работа Util::Antigate: теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов
  
• Улучшена работа HTML::TextExtractor::LangDetect: обновлен модуль определения языка и оптимизирован алгоритм работы
  
• SE::Yandex::Speller теперь может принимать на вход как ссылки, так и ключевые слова (тексты)
  
• В Reddit::Posts добавлена опция Use HTTP/2 transport
  
• Улучшение скорости работы parser.request и API::Server::Redis (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))

Исправления в связи с изменениями в выдаче

• Social::Instagram::Geo - исправлена проблема Content mismatch при определенных запросах
• Shop::Amazon - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
• Social::Instagram::Post - исправлена ошибка при сборе $video_link
  
• Исправлена работа SE::Quora, теперь требуется указывать куки авторизованного аккаунта, подробнее тут
• Исправлена работа Social::TikTok::Profile
• Исправлен SE:uckDuckGo

Исправления

• SE::Yandex - исправлена поддержка puzzle каптчи при Engine=Browser
  
• Rank::CMS - исправлена ошибка, возникающая для некоторых технологий
• Исправлен Cloudflare::Radar

[Forbidden]

1.2.2596 - обход новой проверки Google, несколько других исправлений



Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.

Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января.

После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.


Кроме этого в релиз вошли следующие изменения:

• В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
• Исправлена ошибка инициализации Util::AntiGate в некоторых окружениях
• Исправлена работа Social::Instagram::Search
• Исправлена проблема, из-за которой в Social::Instagram::Geo собиралось только 24 поста

[Forbidden]

Дайджест новостей A-Parser


Выгрузка кликов из GSC

Новый парсер от пользователя @seohive. С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


Выгрузка поискового трафика из Яндекс Метрики

Еще один новый парсер от пользователя @seohive. С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


Выгрузка данных по позициям из Topvisor

И еще один новый парсер от @seohive. С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


Работа парсера SE::Google

Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно выпустили обновление для SE::Google и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.


Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

[Forbidden]

Видео урок: вывод результатов в CSV, JSON и HTML

Новое видео по работе с A-Parser от DIM STUDIO в котором показаны способы форматирования результатов в CSV, HTML и JSON.

https://www.youtube.com/embed/x-98uqyNGt0?wmode=opaque

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

[Forbidden]

Дайджест новостей A-Parser

Meta Ad Library
Новый парсер в каталоге: парсер библиотеки рекламы Meta (Facebook, Instagram, Whatsapp...). Позволяет собирать количество рекламных объявлений по ключевому слову с учетом заданных фильтров и массив рекламных объявлений.

Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme
Обновление одноименного парсера.

• Убраны не актуальные опции, убрано решение каптчи
• Исправлен сбор результатов

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов
• Исправлен парсинг кол-ва просмотров

JS::SE::Yandex:: Position::ByRegion
Обновление парсера для проверки позиций сайтов в поисковой выдаче Яндекс сразу по нескольким регионам

• Парсер переписан на JS API v2 (TS)
• Вместо выбора пресета настроек теперь используется наследование от SE::Yandex::Position
• В парсере теперь используется новый, более полный и актуальный справочник регионов

Подсказки Google Play
Обновление парсера подсказок магазина Google Play

• Адаптация к изменениям на источнике

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

[Forbidden]

1.2.2640 - новый парсер скриншотов, оптимизации и исправления встроенных парсеров, интерфейса и API



Улучшения

• Добавлен новый парсер - Browser::ScreenshotsMaker
• Исправлен и улучшен парсинг генеративных ответов в SE::Yandex
• В SE::Google::Translate улучшен перевод в Desktop режиме
• В SE::Bing добавлена возможность указывать язык результатов
• В Net::HTTP для Engine=Chrome добавлен $response.Time
• IP::Info - добавлена переменная $ip
• Обновлен список стран в парсерах Ahrefs
• На карточках заданий в очереди даты теперь выводятся с годом

Исправления в связи с изменениями в выдаче

• Окончательно реализован обход проверки на JS в SE::Google
• Исправлена ситуация когда в SE::Yandex при Engine=Browser выдача ошибочно определялась как каптча
• Исправлено авторазгадывание в Util::Turnstile
• Исправлен парсинг PAA в SE::Google
• Исправлена работа Reddit::Posts
• Исправлена ситуация с попаданием рекламы в результаты Shop::Amazon, а также исправлен сбор $commentscount
• Исправлен сбор некоторых данных в Social::Instagram::Post

Исправления

• SE::Google - исправлена проблема утечки памяти связанной с использованием Playwright
• SE::Google::KeywordPlanner::SearchVolume - исправлено определение $volume_type
• Maps::Google - исправлена работа с опцией Collect full region в некоторых случаях
• Исправлена ситуация, когда в пресете настроек SE::Yandex не сохранялся Region of serp
• API: исправлена работа метода changeProxyCheckerState
• API: исправлена ошибка из-за которой при использовании метода getAccountsCount парсер падал, если аккаунтов 0

[Forbidden]

Дайджест новостей A-Parser

Парсинг расшифровки Youtube видео
Новый пресет в Каталоге, в котором показан способ парсинга расшифровки Youtube видео с использованием встроенного парсера SE::YouTube::Video. Решение основано на выводе собираемых результатов в том виде, в котором они отображаются в браузере.

Парсер всех видео с Youtube канала
Обновление парсера для сбора списка видео (с их характеристиками) из Youtube каналов

• Исправлена работа с каналами, у которых всего 1 вкладка
• Добавлена обработка Shorts, если они выдаются вместе с видео (или вместо видео)
• Добавлена обработка случаев, когда канал не существует
• Исправлен обход окна соглашения, которое появляется при запросах с IP некоторых стран
• Исправлена логика повторных попыток, в некоторых случаях парсер их не делал

Парсинг популярных запросов за сутки Google Trends
Обновление парсера для сбора трендовых поисковых запросов из Google Trends

• Парсер полностью переписан в связи с изменениями на источнике
• Изменен набор собираемых данных
• Изменен список параметров

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Очередное обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов

Парсинг Авито
Обновление парсера объявлений Аvito

• Исправлена работа парсера

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

[Forbidden]

Дайджест новостей A-Parser

Для PremiumMix прокси добавлены 3 новых недельных тарифа

• Proxies PremiumMix 50 Gb / 1 week ($0.9 / Gb) - $45
• Proxies PremiumMix 100 Gb / 1 week ($0.8 / Gb) - $80
• Proxies PremiumMix 200 Gb / 1 week ($0.7 / Gb) - $140

Данные тарифы имеют все преимущества Premium тарифов, за исключением возможности гео-таргентинга:

• База более 10 миллионов резидентных (домашних) IP адресов
• Быстрое время отклика
• Настройки ротации, включая случайный IP на каждый запрос и ротацию от 1 до 60 минут, а также режим Sticky. В режиме Sticky прокси не будет менять IP максимально возможное время
• Подходит для браузинга и парсинга, с практически полным отсутствием CAPTCHA и банов

Оплата онлайн на a-parser.com. Дополнительная скидка 10% при оплате USDT/BTC/ETH/...

Парсер переводчика Libre Translate
Обновление переводчика Libre Translate, который использует API машинного перевода с открытым исходным кодом

• Адаптация к изменениям в защите

Парсинг статистики с Social Blade
Обновление парсера сервис Social Blade, который отслеживает статистику пользователей YouTube, Twitch, Instagram, Facebook и Tiktok.

• Парсер полностью переписан в связи с изменениями на источнике
• Добавлен выбор социальной сети, для которой нужно парсить данные
• Добавлена возможность указать кол-во страниц с результатами (100 результатов на страницу)
• Изменен набор собираемых данных

Парсер Яндекс Кью
Обновление парсер для сервиса Яндекс Кью, который позволяет собирать списки вопросов и ответов к ним

• Адаптация к изменениям на источнике
• Возвращен выбор типа результатов (вопросы/ответы)
• Парсер переписан на TypeScript

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

[Forbidden]

1.2.2670 - адаптация встроенных парсеров к изменениям на источниках, исправление ошибок



Улучшения

• Улучшена работа SE::Bing, на некоторых комбинациях настроек парсер зацикливался на получении Short output
• В Browser::ScreenshotsMaker добавлен режим Fullscreen

Исправления в связи с изменениями в выдаче

• SE::Google - исправлен парсинг Desktop выдачи
• SE::Google - устранен пропуск ссылок на видео
• SE::Google - исправлена работа переменных $misspell и $corrected
• SE::Google - исправлен парсинг некоторых видов PAA
• SE::Yandex - адаптация к изменениям в мобильной выдаче
• Исправлена работа Social::Instagram::Tag, теперь для парсинга нужны куки
• Исправлена работа SE::Pinterest
• SE::Google::Trends - минимизировано количество ошибок, парсер переписан на JS API v2
• SE::Bing - исправлена работа с запросами, содержащими поисковые операторы

Исправления

• Исправлена работа Net::Whois с некоторыми доменными зонами
• В SE::Yandex исправлен парсинг QA
• В Social::Instagram::Tag исправлена работа с кириллицей
• Исправлена проблема с переподключением к редису в API::Server::Redis, проблема возникала при временной недоступности Redis сервера
• Исправлена ошибка кодировки при выводе $query в Начальном тексте, проблема возникала только на Linux
• Исправлена работа tools.js, в некоторых случаях функции с npm модулями не работали