[Forbidden]

Видео урок: Поиск статей внутри сайта

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ поиска статей внутри сайта с использованием 2-х встроенных парсеров.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

[Forbidden]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Валидатор емайлов
Проверка существования e-mail адресов

• Добавлена поддержка protonmail (proton.me, protonmail.com)
• Добавлена поддержка tutanota (tutanota.com, tutanota.de, tutamail.com, tuta.io, keemail.me)
• Парсер переписан на JS API v2

JS::Yandex::LangDetect
Определение языка страницы через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
• Добавлена поддержка каптч (наследуется от SE::Yandex)
• Добавлен выбор пресета настроек HTML::TextExtractor
• Адаптация к изменениям на источнике

JS::Yandex::LangDetect::Key
Определение языка ключевого слова через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
• Парсер наследует JS::Yandex::LangDetect

Core Web Vitals
Отчет о скорости сайта

• Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

[Forbidden]

1.2.2106 - обновленный SE::Rambler, лимит при парсинге в глубину в LinkExtractor и другие улучшения



Улучшения

• В HTML::LinkExtractor добавлена возможность указания лимита количества ссылок при парсинге в глубину
  
• В Util::AntiGate добавлена поддержка Capsola, capmonster.cloud
  
• В Util::Turnstile добавлена поддержка captcha.guru
  
• В Rank::MajesticSEO добавлена возможность указывать собственные юзер-агенты для повышения успешности парсинга
• В парсерах Rank::Ahrefs::* добавлена экспериментальная опция Do not search for sitekey, которая отключает поиск sitekey, что в свою очередь ускоряет запуск задания
  
• SE::Rambler полностью переписан:
  • обновлен список языков
  • добавлена возможность указывать регион
  • добавлен выбор десктопной или мобильной выдачи
  • обновлена работа с каптчами
• JS парсеры: добавлена поддержка тегов для сессий

Исправления в связи с изменениями в выдаче

• SE::Bing - уменьшено кол-во ошибок Short output detected
  
• Адаптация к изменениям в верстке для SE::Google и SE::Yandex
• Исправлен сбор flat переменных в Social::InstagramPost
• Исправлен сбор $location в Social::InstagramProfile
  
• Исправлен поиск sitekey в Rank::Ahrefs::*
• Исправлена работа SE::YouTube при Result type = Movie
  
• Исправлен сбор $author_link в GooglePlay::Apps
• SE::BingPosition, SE::Google::ByImage, SEDuckDuckGo, SE::Google::Images, Shop::WildberriesProductInfo

Исправления

• Исправлены ошибка в Rank::CMS, из-за которой в некоторых случаях он не работал
• Исправлена ошибка использования SE::Yahoo через Redis API
  
• Исправлена работа SE::YouTube при запросах из JS парсеров
  
• Исправлена работа Net::Whois с доменами .se
• Исправлено ошибочное определение запроса неудачным в Shop::eBay
  
• Исправлено заполнение результатов в Rank::KeysSo

[Forbidden]

Сборник рецептов #60: товары на Walmart, проверка e-mail и доступность доменов

60-й сборник рецептов, в котором подобраны: парсер товаров Walmart, парсер для проверки e-mail и парсер для проверки доступности доменов через сервис Pananames

Парсер товаров walmart.com
Сбор товаров по ключевым словам на торговой площадке walmart.com с возможностью задать количество страниц результатов и выводом результатов в CSV таблицу


Парсер для проверки e-mail
Парсер для проверки адресов электронных почт на валидность, доставляемость и прочие параметры через сервис Email Verification API


Pananames - доступность, цена домена
Парсер, позволяющий проверить доступен ли домен и его цену с использованием сервиса Pananames



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[Forbidden]

Обновленные пресеты в каталоге A-Parser + новый парсер тегов из сервиса Rapidtags

Обновление пресетов в Каталоге примеров A-Parser

Парсер переводчика Reverso
Переводчик текста через сервис reverso.net

• Исправлена ошибка при отсутствующих $examples или $variants
• Поправлено логирование

JS::MailValidator
Проверка существования e-mail адресов

• Исправлена проверка почт на protonmail

Сокращатель ссылок
Парсер для массового сокращения ссылок с возможностью выбирать используемый сервис

• Удалены неработающие сервисы (cleanuri.com, gotiny.cc, shrtco.de)
• Добавлено 2 новых сервиса: gg.gg и urlshort.dev

Парсер тегов для YouTube и TikTok из сервиса Rapidtags
Новый пример в Каталоге: пресет для сбора тегов для YouTube и TikTok из сервиса Rapidtags.io.

• можно задать тип: YouTube или TikTok
• в качестве запросов можно использовать ключевые слова или ссылки на видео на Youtube

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

[Forbidden]

Видео урок: сбор контактов организаций из Google Maps

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ сбора контактов организаций по ключевым словам из заданного участка Google карт.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

[Forbidden]

1.2.2148 - бесплатное решение Яндекс каптчи, 3 новых парсера, поддержка нового WordStat


Улучшения

• Открыто бесплатное тестирование решения Яндекс каптчи!
  В Util::AntiGate добавлен провайдер A-Parser.Captchas, его можно использовать без указания ключа доступа.
• Добавлено 3 новых парсера:
  • SE::Yandex::Video - парсер Яндекс Видео
    
  • IP::Info - точные данные об IP-адресах
    
  • SE::Bing::Video - парсер Бинг Видео
• В SE::Yandex::WordStat добавлена поддержка нового WordStat
• В SE::Yandex::SQI добавлен сбор рейтинга магазина в поиске по товарам и рейтинга магазина на Яндекс Маркете
• В Social::Instagram::Profile добавлен сбор ссылок, которые были прикреплены в профиле и сбор телефонов из bio
• В Maps::Yandex добавлен сбор времени работы организации
• Util::AntiGate адаптирован к изменениям в API 2captcha/rucaptcha. А также оптимизирована работа с click каптчей и добавлена опция Log captcha images, позволяющая отключать вывод картинок каптч в лог

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google и Яндекс
• В Shop::Yandex::Market исправлена работа со всеми видами запросов
• SE::YouTube, GooglePlay::Apps, Shop::Wildberries::ProductInfo, Shop::Wildberries::ProductsList, SE:uckDuckGo, Reddit::Posts, Reddit::Comments, SE::Google::ByImage, SE::Ask, Shop::Amazon, Social::TikTok::Profile

Исправления

• Исправлена ошибка обработки некоторых HTML сущностей в HTML::TextExtractor
• Исправлено определение Yandex.Metrika в Rank::CMS
• Исправлена работа некоторых опций в SE::Startpage

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

[Forbidden]

Сборник рецептов #61: сбор характеристик сайтов, парсер архива Telegram ботов и парсер Lalafo

61-й сборник рецептов, в котором содержатся: парсер для сбора характеристик сайтов, парсер архива телеграм ботов и парсер объявлений из Lalafo.

Анализ сайта с помощью be1.ru
Парсер для сбора характеристик сайтов из сервиса be1.ru. Сервис предоставляет отчет по около 60-ти характеристикам.


Парсер архива Телеграм ботов
Парсинг информации о Telegram ботах из сервиса BOTSARCHIVE. Для парсинга используется официальное API.


Парсер объявлений сайта Lalafo
Парсер крупнейшего сайта для размещения бесплатных объявлений Lalafo по поисковому (ключевому) запросу. Возможности: сбор номеров телефонов с объявлений, выбор количества страниц результатов, выбор домена, сбор результатов сразу в CSV таблицу.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[Forbidden]

Сборник статей #17: поиск и привлечение аудитории в Instagram, сбор баз сайтов на заданных движках

Представляем 17-й сборник статей, в который вошли статья о поиске и привлечении целевой аудитории в Instagram и статья о сборе баз сайтов на определенных движках.

Instagram - сбор пользователей, автоматическая отправка сообщений собранным пользователям в direct
В статье рассмотрен сбор целевой аудитории и привлечение её в наш инстаграм магазин с помощью автоматической рассылки в Direct.


Как спарсить WordPress сайты (и не только) через A-Parser
В этой статье показано как собрать сайты на движке WordPress через A-Parser с минимальным количеством мусора в виде других движков. Кроме того данный подход можно использовать для сбора баз на любых движках.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

[Forbidden]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Скриншоты выдачи поисковой системы
Демонстрация возможности делать скриншоты страниц, получаемых другими парсерами

• Добавлена возможность выбирать из нескольких поисковиков (Google/Яндекс/Bing, по аналогии можно добавить остальные)
• Все результаты, получаемые от парсера поисковика, теперь перемещены в объект $p1.results (для примера реализован вывод $serp)
• Небольшие изменения логики работы

Парсер изображений с Flickr
Парсинг картинок из Flickr по ключевому слову

• Пресет переделан в JS парсер на TypeScript
• Добавлен выбор параметров поиска: Sort, License, Color, Style
• Добавлен параметр выбора количества страниц
• Для каждой картинки реализована возможность парсить ссылку, заголовок, описание, владельца, количество добавлений в избранное и количество комментариев

Анализ скорости загрузки и юзабилити сайтов
Измерение скорости загрузки страниц, их юзабилити, получение скриншотов сайтов

• Парсер переписан на JS API v2 (TypeScript)
• Добавлена возможность указывать ключ API
• Адаптация к изменениям на источнике

NeuralWriter - перефразирование, генератор промптов, резюмирование
Парсер сервиса neuralwriter.com

• Добавлена поддержка разгадывания каптчи Cloudflare Turnstile - опция Util::Turnstile preset. Разгадывание капчи теперь обязательно, если тип запроса не Prompt Generator

Google Indexing API
Добавление или удаление страниц сайта в Google Indexing API

• Парсер переписан на TypeScript (JavaScript API v2)
• Добавлена возможность использовать несколько ключей

Генерация картинок ruDALL-E
Напишите текстовый запрос — получите сгенерированную ИИ картинку в rudalle.ru

• Исправлена генерация с помощью старой модели (ruDALL-E Malevich)
• Для генерации картинки старой моделью теперь не требуется подключение Util::AntiGate
• Добавлен выбор модели, которая будет генерировать изображения, добавлена новая модель Kandinsky 3.0 (new)
• В моделе Kandinsky 3.0 есть возможность выбрать стиль генерации изображения, доступны все стили

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!