[ruprogon]

Selka лучше ))

[Forbidden]

Selka лучше ))

аргументировать будете? или так ляпнуть что попало? :)

[ruprogon]

аргументировать будете?

Запросто: она не стоит 200 у.е.

[Forbidden]

ruprogon, отлично, а то что даже 1% возможностей не имеет это не в счет? :)

[ruprogon]

ruprogon, отлично, а то что даже 1% возможностей не имеет это не в счет? :)

Так он же все парсит, при том бесплатно. :)

[Forbidden]

ruprogon, отлично что вам подходит) когда станет не хватать приходите к нам

[Forbidden]

Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок

12-й выпуск Сборника рецептов. В нем мы рассмотрим пример парсинга Instagram, проверим новую возможность вывода статистики и научимся составлять кастомные парсеры подсказок. А также:

• Обзор вариантов представления результатов
• Универсальный чекер страниц
• Парсинг трафика и стоимости по ключевым словам из SEMrush
• Обновление и улучшение пресетов для парсинга Авито и 2GIS

Парсинг Instagram
Instagram на сегодня является одним из самых популярных приложений для обмена фото с элементами социальной сети (осенью 2015 года аудитория превысила 400 млн пользователей). Такая популярность делает данный сервис привлекательным для парсинга, с целью получения различной информации. Как парсить Инстаграм с помощью А-Парсера - по ссылке выше.


Статистика по результатам парсинга
Начиная с версии 1.1.336 в А-Парсере появилась возможность вести и обрабатывать статистику парсинга, благодаря поддержке шаблонизатора в Начальном и Конечных текстах. Теперь в выдаче можно подсчитать количество ссылок на каждом домене, количество сабдоменов для каждого домена, частоту каждого сабдомена; получить списки доменов, имеющих сабдомены и многое другое... Несколько примеров показаны по ссылке выше.


Как сделать свой парсер подсказок?
В A-Parser уже существуют парсеры подсказок для Google, Yandex, AOL, Bing и Yahoo. Но есть и другие сервисы, которые также выдают подсказки. О том, как сделать свой парсер подсказок, а также примеры для Baidu, Rambler, Mail.Ru, LiveInternet, DuckDuckGo и GooglePlay смотрите по ссылке выше.


Кроме этого еще несколько рецептов:

• В А-Парсере результат можно форматировать практически как угодно. О 4-х самых популярных форматах читайте в Обзоре вариантов представления результата на примере оценки позиций сайтов
• У вебмастеров часто возникает задача поиска страниц с ошибками на сайте. И если это сайт-визитка, то решить ее можно вручную. А вот если это большой сайт, и не один... Тогда есть A-Parser: Универсальный чекер страниц
• Улучшенные пресеты для парсинга 2GIS, Авито и пресет для парсинга трафика и стоимости по ключевым словам из SEMrush

Еще больше различных рецептов в нашем Каталоге примеров!

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!

[Forbidden]

A-Parser - 1.1.434 - парсинг частотности Яндекс.Директ с большой скоростью, улучшения использования памяти

В этой версии проделана большая работа по добавлению поддержки агрегации запросов. Теперь парсер частотности ключевых слов SE::Yandex::Direct::Frequency может получать данные со скоростью 20000-50000 слов\минуту

Улучшения

• Уменьшено потребление памяти при использовании большого числа потоков и\или нескольких парсеров в одном задании
• Уменьшено потребление памяти при большой очереди завершенных заданий
• В парсере SE::Yandex::Direct::Frequency добавлена возможность выбрать все регионы или выбрать несколько определенных
• В парсере SE::Yandex::Direct::Frequency добавлена поддержка Яндекс аккаунтов, а так же поддержка AntiGate и парсинг по 500 ключевых слов за один запрос
• В парсере SE::Yandex::Direct::Frequency добавлена возможность выбора периода за последний месяц, за определенный месяц, за квартал или за год
  
• Для Windows и Linux улучшена поддержка юникода в именах файлах, независимо от языка интерфейса ОС
• Добавлена возможность просматривать логи только неудачных запросов
• В API добавлена возможность указать флаг removeOnComplete при добавлении задания, тем самым задания будут автоматически удалятся после завершения
• В просмотре логов теперь можно выделить данные для копирования
• В парсере Net::HTTP добавлен параметр Max cookies count, ограничивающий число Cookie для сохранения
• В парсере Net::HTTP расширен список кодов ответов, а также добавлена возможность указать регулярное выражения для проверки кода ответа
• В очереди заданий теперь можно искать необходимые задания по названию, номеру, подстроке в запросах, имени файлов запросов и результатов
• В парсере HTML::LinkExtractor добавлена опция Check next page, позволяющая расширить логику перехода по ссылкам
• Добавлена опция Page as new query, которая передает переход на следующую страницу как новый запрос, тем самым позволяя убрать ограничение на количество страниц для перехода

Исправления в связи с изменениями выдачи

• В парсере SE::Yandex исправлен парсинг связанных ключевых слов
• В парсере SE::Youtube исправлен парсинг количества видео по запросу
• Исправлен парсинг Google Blogs в парсере SE::Google
• Исправлены SE::AOL, SE::Ask, SE::Baidu, SE::Google, SE::Google::pR, SE::DisconnectMe, SE::QIP, SE::Yandex

Исправления

• Исправлено отображение длинных выпадающих меню
• Исправлена кодировка запросов в просмотре логов
• Исправлено падение при использовании опции Parse to level в некоторых ситуациях
• Исправлено падение в парсере SEO::ping
• Прокси с авторизацией теперь сохраняются корректно в файл живых прокси alive.txt
• Исправлена работа с прокси при указании пустой пары логин\пароль для авторизации
• В парсере SE::Yandex::WordStat теперь при использовании опции Remove + from keywords плюсы удаляются также для фраз правого столбика
• Исправлено экранирование символа + в HTTP запросах

Все изменения и описания новых возможностей скоро будут доступны в документации

[Forbidden]

A-Parser: видео урок - генерация sitemap.xml используя возможности JavaScript

Денис Бартаев рассказывает об использовании JavaScript в A-Parser:

• Использование LinkExtractor
• Показан пример разбора заголовков ответов
• Введение в основы JavaScript
• Использование возможностей tools.js для решения практической задачи

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео

[Forbidden]

A-Parser - 1.1.462 - цепочки заданий, сохранение JavaScript функций в пресете задания

Улучшения

• Добавлена возможность использовать цепочки заданий - запускать определенное задание после завершение текущего, с возможностью указать файл результатов первого задания, как файл запросов для следующего
• Теперь JavaScript функции можно сохранять в настройках задания, что позволяет включать их при экспорте задания
• При форматировании элементов массивов через метод .format теперь можно использовать все простые(Flat) переменные, которые выдает парсер или которые формируются используя Конструктор результатов
• В прокси чекер добавлена опция Load limit count, позволяющая задать максимальное число прокси для загрузки с источников
• В парсере Net::HTTP для опции Check content добавлен переключатель Match / Not Match позволяющий проверять не только наличие, но и отсутствие определенного контента на странице
• Теперь файл задания не перезаписывается при отсутствии свободного места на диске
• В лог добавлена информация о версии парсера, количество свободной памяти и другая полезная информация

Исправления в связи с изменениями выдачи

• Исправлены SE::Yandex, SE::Google

Исправления

• В парсере SE::Google сниппеты и анкоры парсились с некорректной кодировкой при использовании Антигейта
• При использовании опции Конечный текст и кириллического имени файла результата конечный текст сохранялся в файл с неверной кодировкой в имени
• При использовании лога после постановки задания на паузу и продолжении работы лог переставал писаться, также при отключении логирования и попытке просмотра лога парсер мог упасть
• В Тестировщике заданий при закрытии окна с активным заданием появлялась ошибка
• В парсере SE::Yandex::Direct::Frequency некоторые фразы не обрабатывались при использовании аккаунтов, а также некорректно передавалось гео без использования аккаунтов
• Макрос $pagenum в парсере Net::HTTP переставал работать если после него были указаны символы
• Парсер SE::Google::TrustCheck не работал совместно с антигейтом