A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc

(Ответов: 287, Просмотров: 32614)
Страница 13 из 29 Первая ... 3111213141523 Последняя
  1. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    A-Parser - 1.1.626 - парсер Яндекс картинок, поддержка каптчи при логине в Яндекс, удаление нерабочих аккаунтов



    В версии 1.1.626 добавлена поддержка каптчи при логине в Яндекс аккаунт в парсерах SE::Yandex, SE::Yandex::WordStat и SE::Yandex::Direct::Frequency:



    Также для этих парсеров добавлена настройка Remove bad accounts, которая автоматически удаляет аккаунты с неверным логин/паролем или требующие подтверждения по телефону. Опция включена по умолчанию

    Добавлен новый парсер картинок SE::Yandex::Images, поддерживает все фильтры(размер, ориентация, тип, цвет, тип файла...). Как известно Яндекс отлично индексирует все картинки для взрослых - отличный способ набрать контента для своих доров/тюбов. В дополнении есть возможность выставить безопасный поиск



    Парсер Яндекс картинок также поддерживает работу с антигейтом(anti-captcha, rucaptcha, CapMonster - любой сервис с поддержкой API антигейта)

    Исправления в связи с изменениями в выдачи
    • SE::DuckDuckGo
    • 0
  2. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu

    15-й выпуск Сборника рецептов. В нем мы будем парсить Google PageSpeed Insights, который позволяет оценивать скорость загрузки, юзабилити сайтов и даже получать их скриншоты; сделаем кастомный парсер Яндекс.Картинок и научимся получать полные ссылки из выдачи Baidu. Поехали!

    Анализ скорости загрузки и юзабилити сайтов
    У Google есть довольно неплохой сервис PageSpeed Insights, который измеряет скорость загрузки веб-страниц, оценивает их юзабилити и даже делает скриншоты страниц. При этом оценивается обычная и мобильная версия парсера. Поэтому мы не могли обойти стороной такой сервис и не сделать для него парсер. О том, что получилось - читайте по ссылке выше.


    Кастомный парсер Яндекс Картинок
    На форуме неоднократно спрашивали когда в А-Парсер будет добавлен парсер картинок Яндекса. На данный момент такой парсер уже есть: SE::Yandex::Images. Но в данной статье будет показан пример кастомного парсера Яндекс.Картинок, который довольно хорошо демонстрирует возможности Net::HTTP. Подробности - по ссылке выше.


    Как получить полные ссылки из Baidu
    Также довольно часто спрашивают как получить полные ссылки из Baidu. Дело в том, что этот поисковик обрезает ссылки в выдаче, и на выходе получаются ссылки такого вида:
    Поэтому в данной статье будет показан способ получения полных ссылок с помощью A-Parser.


    Кроме этого:

    Еще больше различных рецептов в нашем Каталоге примеров!

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники:
    • 0
  3. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    A-Parser - 1.1.652 - динамический лимит потоков, поддержка цифровой каптчи для Google



    В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

    Помимо этого парсер SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

    Улучшения
    • Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
    • В парсере Net::HTTP не передаются пустые хедеры
    • В парсере SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата
    Исправления в связи с изменениями в выдачи
    • SE::Yandex, SE::AOL
    Исправления
    • В парсере SE::Yandex::WordStat исправлена работа при редиректе на региональный домен, а также исправлена работа с устаревшими сессиями
    • Net::Whois не корректно работал с зоной .tr
    • В парсере SE::Google невозможно было получить исходник страницы($data) при использовании антигейта
    • В парсере SE::Yandex не сохранились сессии при использовании аккаунтов
    • 0
  4. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    • 0
  5. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    A-Parser - 1.1.669 - 64 битная Linux версия, проверка позиций по множеству доменов



    Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:
    • уменьшение потребления памяти
    • больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков
    Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD

    Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса

    Улучшения
    • Все парсеры позиций в поисковых системах( SE::Google::Position, SE::Yandex::Position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
    • Для парсера SE::Yandex добавлена возможность указать язык результатов поиска
    Исправления в связи с изменениями в выдаче
    • SE::Google, SE::Yandex, SE::DuckDuckGo, SE::Yandex::Direct::Frequency
    Исправления
    • В предыдущий версии появилась ошибка в обработке нескольких ключевых слов за один запрос в парсере SE::Yandex::Direct::Frequency
    • Очистка очереди заданий работала некорректно
    • 0
  6. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

    16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

    Парсинг OpenSiteExplorer (MOZ) с авторизацией
    С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.


    Парсинг всех сайтов из указанной категории Я.Каталога
    Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.


    Как парсить Яндекс.Новости?
    В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова :)


    Кроме этого:


    Еще больше различных рецептов в нашем Каталоге примеров!

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    • 0
  7. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    A-Parser - 1.1.681 - обход защиты CloudFlare, улучшения в конструкторах запросов


    В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах Net::HTTP, HTML::LinkExtractor и HTML::TextExtractor

    В конструкторах запросов улучшена логика при разделении запроса на части

    Исправления в связи с изменениями в выдачи
    • SE::Yandex - пропускались некоторые ссылки
    • SE::MailRu, SE::Baidu
    Исправления
    • Исправлена поддержка тега meta http-equiv в парсере Net::HTTP
    • Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
    • В парсере SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
    • Исправлена ошибка в Тестировщике заданий, при которой не очищался результат предыщущего парсинга
    • 0
  8. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 256
    • Репутация: 21
    Доброго времени суток, друзья!


    Отныне в A-Parser добавлена уникальная возможность создавать свои парсеры на языке JavaScript:





    Давайте более подробно рассмотрим нововведения:
    • теперь возможна реализация парсеров, регеров, постеров и т.п. любого уровня сложности, используя все преимущества A-Parser
    • API будет дорабатываться и пополняться полезными возможностями
    • для тех кто уже готов пользоваться новым функционалом - вступайте в наш чат https://join.skype.com/nMAYI9lpsJ9Z для JavaScript разработчиков
    • ограничения: работает на windows или linux-x64, только для Pro и Enterprise лицензий


    Мы ежедневно работаем над улучшениями и предоставляем вам только качественный продукт!
    Благодарим вас за использование A-Parser!
    • 0
  9. Новичок
    • Регистрация: 03.06.2013
    • Сообщений: 17
    • Репутация: 2
    Всем привет!


    Друзья, рады сообщить что мы обновили Каталог примеров и добавили 32 примера и 1 видео.

    Более подробно вы можете всё просмотреть здесь: https://a-parser.com/threads/1738/







    Всем профитной недели и приятной работы в месте с A-Parser!
    • 0
  10. Новичок
    • Регистрация: 03.06.2013
    • Сообщений: 17
    • Репутация: 2
    Дорогие друзья!



    Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX

    Не упустите этот момент, возможно розыгрыш произойдёт только один раз :)

    С любовью, команда A-Parser!
    • 0
Страница 13 из 29 Первая ... 3111213141523 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
LTK Parser - парсер поисковых подсказок на разных языках
Софт, скрипты, лицензии 12 06.05.2012 21:10
Парсер контента под дорвеи и сателлиты X-Parser
Софт, скрипты, сервисы 0 15.08.2010 23:51
KD Parser - парсер ключевых слов
Софт, скрипты, лицензии 2 10.04.2010 21:47
Хороший Парсер Я.Директ и Wordstat - Магадан
Поисковые системы 10 24.11.2009 16:52
Хороший Парсер Я.Директ и Wordstat - Магадан
Софт, скрипты, сервисы 4 15.09.2009 19:38

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры