A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc

(Ответов: 194, Просмотров: 18920)
Страница 20 из 20 Первая ... 10181920
  1. Дипломник Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 166
    • Репутация: 21
    Видео урок: Именование файлов результатов

    Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
    И в этом уроке будут рассмотрены варианты формирования имени файла результата.



    В видео рассмотрено:
    • Нумерация файла результата в соответствии с запросами
    • Нумерация файла результата + часть имени запроса
    • Именование файла результата по запросу, если запрос линк

    Полезные ссылки:

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

    • 0
  2. Дипломник Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 166
    • Репутация: 21
    1.2.852 - новый парсер для Google Keyword Planner, Native NodeJS, множество исправлений и улучшений


    Улучшения
    • Добавлен парсер SE::Google::KeywordPlanner
      • собираются списки подсказок и варианты ключевых слов
      • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
      • присутствует возможность указывать несколько ключевых слов в запросе
    • В SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
    • В SE::Yandex::SQI добавлены переменные для сбора количества отзывов и оценок, а также рейтинга
    • Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
    • Автоматическое увеличение лимитов на ОС Linux
    • Улучшена работа с регулярными выражениями
    • При бане прокси в лог задания теперь выводится более детальная информация
    • Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
      • Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
    • Native NodeJS: добавлена экспериментальная поддержка HTTP/2
    • Native NodeJS: обновление Node.js до актуальной версии
    • JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее тут
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа Net::Whois с доменами 3го уровня, а также улучшена проверка получаемого ответа
    • Исправлена работа Extra query string в SE::Bing
    • Исправлена работа Rank::SEMrush и Rank::SerpStat::Keyword при получении ответа без данных
    • Исправлен баг с типами переменных
    • Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
    • Исправлена работа Bypass Cloudflare
    • Исправлен динамический лимит потоков
    • Исправлена ошибка при использовании Request delay
    • Исправлено предупреждение о превышении лимита в Поле запросов
    • Исправлена работа $tools.task.id в имени файла результата
    • JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
    • JS парсеры: исправлено определение кодировки страницы
    • Native NodeJS: исправлено поведение при некоторых ошибках
    • Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
    • Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
    • Native NodeJS: исправлена работа SOCKS5 с авторизацией
    • Native NodeJS: исправлена подстановка данных после Конструктора запросов

    • 0
  3. Дипломник Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 166
    • Репутация: 21
    Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

    Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
    • парсер данных о посещаемости организаций
    • парсер данных о SSL сертификатах
    • парсер товаров на ikea.com
    • комплексный пресет для анализа доменов по ряду характеристик
    • способ извлечения доменов из ссылок без фактического захода на страницу
    Посещаемость в Google Maps
    В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
    Представляем парсер, который собирает данные о посещаемости.


    Данные по SSL сертификату
    Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.


    Парсер ikea.com
    Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.


    Кроме этого:
    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    • 0
  4. Дипломник Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 166
    • Репутация: 21
    Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия
    В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.



    В видео рассмотрено:
    • Вывод результатов в разные файлы с разными именами используя переменные
    • Вывод результатов для каждого файла отдельно по определенному условию
    • Вывод результатов для двух файлов с условием, используя массив
    Полезные ссылки:
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
    • 0
  5. Дипломник Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 166
    • Репутация: 21
    Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer
    Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
    • Работа с Google таблицами
    • Отправка писем из А-Парсера
    • Авторизация с помощью puppeteer
    Сохранение результатов в Google SpreadSheets
    Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.


    Отправка почтовых писем
    Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.


    Авторизация на GitHub с использованием puppeteer
    Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.



    Еще больше различных рецептов в нашем Каталоге!

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Все сборники рецептов

    • 0
Страница 20 из 20 Первая ... 10181920

Похожие темы

Темы Раздел Ответов Последний пост
LTK Parser - парсер поисковых подсказок на разных языках
Софт, скрипты, лицензии 12 06.05.2012 22:10
Парсер контента под дорвеи и сателлиты X-Parser
Софт, скрипты, сервисы 0 16.08.2010 00:51
KD Parser - парсер ключевых слов
Софт, скрипты, лицензии 2 10.04.2010 22:47
Хороший Парсер Я.Директ и Wordstat - Магадан
Поисковые системы 10 24.11.2009 16:52
Хороший Парсер Я.Директ и Wordstat - Магадан
Софт, скрипты, сервисы 4 15.09.2009 20:38

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры