A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc

(Ответов: 284, Просмотров: 32249)
Страница 19 из 29 Первая ... 91718192021 Последняя
  1. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite

    24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

    Получаем уведомления в Telegram об окончании срока регистрации доменов

    Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.



    Проверка блокировки РосКомНадзора через GitHub

    В А-Парсере есть стандартный парсер Check::RosKomNadzor Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализована в пресете по ссылке выше.



    Простой парсер обменника с записью в БД SQLite

    Как известно, в A-Parser реализована возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.



    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    • 0
  2. Опытный
    • Регистрация: 12.07.2013
    • Сообщений: 278
    • Репутация: 51
    Forbidden, можно ли данным парсером парсить вебархив?
    • 0
  3. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    Цитата Сообщение от struvva Посмотреть сообщение
    Forbidden, можно ли данным парсером парсить вебархив?
    есть встроенный парсер статистики: https://a-parser.com/wiki/rank-archive/
    • 0
  4. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO


    Улучшения
    • В Rank::CMS обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
    • SE::Baidu полностью переписан:
      • добавлен парсинг related keywords
      • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
      • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
      • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
    • Изменения в Rank::MajesticSEO:
      • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
      • Убран параметр Extract domain
      • Исправлена работа в некоторых случаях
    • Улучшена отзывчивость в редакторе JavaScript парсеров
    • Улучшена работа HTML::EmailExtractor, устранены зависания, которые возникали на определенных страницах
    • Обновлен список регионов в парсерах Яндекс
    • Пустой результат в SE::Google::Trends больше не считается неудачным запросом
    • Улучшена работа с сессиями в SE::Yandex::WordStat
    Исправления в связи с изменениями в выдаче
    • Исправлен парсинг рекламы в SE::Yandex
    • Исправлена работа, а также улучшен алгоритм парсинга в SE:: DuckDuckGo
    • Исправлено указание региона в парсерах Яндекс
    • Исправлен парсинг $ads.$i.visiblelink в SE::Google::Modern
    • Исправлен парсинг $totalcount в SE::Yandex:: Direct
    Исправления
    • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
    • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
    • Исправлено отображение кириллицы в $headers в Net::HTTP
    • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
    • Устранена проблема с кодировкой при работе с SQLite
    • Исправлена ошибка со сменой прокси в JavaScript парсерах
    • 0
  5. Дипломник
    • Регистрация: 13.12.2014
    • Сообщений: 144
    • Репутация: 67
    Большое спасибо, за софт. Не жалею ни одного рубля потраченного на него.

    Отдельное большое спасибо менеджеру Денису, за подробную консультацию перед покупкой, и тупые вопросы сразу после покупки (они тупые, тк функционала много и сразу во всем не разобраться, уже через пару дней я понял что вопросы были тупые, когда разобрался как устроен софт).

    Насчет функционала, куда дальше улучшать я не знаю, а вот насчет поддержки. Хотелось бы, что бы хоть пару часиков в выходные она тоже работала. Хотя с 9 до 20 часов будние дни это не мало, но все таки в выходные и после работы многие как раз приходят и активно пользуются софтом.

    Бобра вам
    • 0
  6. Студент
    • Регистрация: 11.10.2013
    • Сообщений: 49
    • Репутация: 1
    Потестировал встроенные парсеры - работает довольно шустро. Полноценно к работе и изучению еще не приступал, но то что есть "из коробки" - уже впечатляет.
    Демка доступна прям у них на сайте, если что, прикольно сделано, даже качать ничего не надо.
    • 0
  7. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

    38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

    Парсер Яндекс Кью
    Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.


    Парсинг сайтов из Яндекс.Радар
    Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.


    Определение типа сайта по Яндекс Радару
    И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.


    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    • 0
  8. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

    11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

    Фильтрация картинок по их содержимому
    В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.


    Инструкция по использованию Google Indexing API
    В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.


    Поиск и сбор rss лент
    В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники статей

    • 0
  9. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    1.2.799 - новый парсер для поиска картинок, улучшения в существующих парсерах



    Улучшения
    • Добавлен новый парсер SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
    • В Social::Instagram::post добавлена возможность собирать ссылки на локации
    • В Util::YandexRecognize добавлена поддержка сессий
    • В SE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
    • Улучшения в HTML::EmailExtractor для более качественного сбора почт
    • В SE::Google::Trends обновлен и значительно расширен список регионов
    • Из SE::Seznam удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен выбор страны в SE::Yahoo
    • Исправлен баг с декодированием ссылок в SE::Google::Images
    • В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти

    • 0
  10. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 253
    • Репутация: 21
    Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

    Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
    • телеграмм бот опросник
    • парсер агрегатора цен hotline.ua
    • парсер аукционов транспортных средств copart.com

    Телеграмм бот опросник
    Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
    Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.


    Парсер hotline.ua
    hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.


    Парсер copart.com
    Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.


    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    • 0
Страница 19 из 29 Первая ... 91718192021 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
LTK Parser - парсер поисковых подсказок на разных языках
Софт, скрипты, лицензии 12 06.05.2012 21:10
Парсер контента под дорвеи и сателлиты X-Parser
Софт, скрипты, сервисы 0 15.08.2010 23:51
KD Parser - парсер ключевых слов
Софт, скрипты, лицензии 2 10.04.2010 21:47
Хороший Парсер Я.Директ и Wordstat - Магадан
Поисковые системы 10 24.11.2009 16:52
Хороший Парсер Я.Директ и Wordstat - Магадан
Софт, скрипты, сервисы 4 15.09.2009 19:38

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры