[Forbidden]

Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий

10-й выпуск Сборника рецептов. В нем мы сделаем кастомный парсер поисковика search.disconnect.me и научимся парсить категории из сайтов с сохранением иерархии и путей к ним.

Парсер search.disconnect.me или альтернатива inurl Google
В одном из сообщений на форуме был упомянут довольно интересный сервис search.disconnect.me. Также в последнее время все чаще стали появляться сообщения о проблемах при парсинге Гугла с поисковыми операторами. А так как вышеупомянутый сервис позволяет парсить Гугл, при этом не выдавая каптч и без бана прокси, можно попробовать сделать для него парсер на основе Net::HTTP. Что из этого получилось - можно посмотреть по ссылке выше.



Парсинг дерева категорий с сохранением структуры
В версии 1.1.292 появилась новая опция Query Builders on all levels. С ее помощью можно регулировать, когда применять Конструктор запросов при парсинге "в глубину". И благодаря этой опции стало возможным парсить дерево категорий из сайтов с сохранением структуры. Как это работает - можно посмотреть по ссылке выше.


Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность

[Forbidden]

A-Parser - 1.1.323 - парсинг с помощью XPath, поддержка JavaScript в шаблонизаторе, тестировщик заданий

Улучшения

• Добавлен новый Тестировщик заданий, позволяющий тестировать все задание целиком, включая использование нескольких парсеров, конструкторов запросов и результатов. Тестировщик позволяет просматривать результаты по каждому созданному файлу, а также отображает логи выполнения по каждому запросу
• Для парсера Net::Whois добавлена опция Recursive query, которая позволяет получать расширенную версию WHOIS(контактные email адреса и т.п.)
• Добавлена поддержка XPath запросов, сильно упрощающая разбор HTML документов
• Добавлен новый инструмент tools.js, позволяющий исполнять JavaScript из шаблонизатора, теперь помимо возможности использовать JavaScript для обработки и вывода результатов стало возможно частично исполнять скрипты встроенные в HTML(Выборочная обработка JavaScript: расшифровка телефонов)

Исправления в связи с изменениями в выдачи

• Исправлен парсинг рекламных объявлений в SE::Google
  
• Исправлен парсер Rank::Ahrefs
  
• Исправлен парсер Rank:: DMOZ

Исправления

• При использовании динамического имени файла append text теперь пишется один раз
• Исправлена работа с ссылками, которые содержат некоторые символы Юникода в Net::HTTP
• Исправлена обработка каптчи в SE::Yandex::Register
• Исправлен парсинг подсказок в SE::Google::Suggest

[Forbidden]

Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!

Розыгрыш призов, условия акции смотри в конце!

11-й выпуск сборника рецептов. В нем мы разберем пример парсинга Авито, научимся расшифровывать телефонные номера, скрытые за JS и будем анализировать тексты.

Парсинг Авито
Если просмотреть сайты с вакансиями для фрилансеров, то можно увидеть, что очень часто требуется парсить популярный сайт объявлений avito.ru. Чаще всего в результате нужна база телефонов, реже - списки объявлений и цены. Данная информация может быть необходима маркетологам, для изучения ситуации на рынке, спамерам для рассылки смс и т.д...
Задачу по парсингу Авито можно решить также с помощью А-Парсера. О том как это сделать - читайте по ссылке выше.


Выборочная обработка JavaScript: расшифровка телефонов
Бывает, что при парсинге различных ресурсов можно наткнуться на информацию, которая скрыта скриптом на JavaScript. До недавнего времени A-Parser не умел обрабатывать JS, и такие сайты оставались в "зоне недоступности". Но начиная с версии 1.1.318 A-Parser научился выборочно работать с JS. Поэтому теперь есть возможность более эффективно парсить такие ресурсы и получать нужную информацию.
Как это делать и больше подробностей о поддержке JS в А-Парсере читайте по ссылке выше.


Анализ текста
Иногда возникает необходимость проанализировать спаршенный или написанный текст по различным параметрам (например: тошнота, водность, определить тематику и язык, найти наиболее повторяющиеся слова и т.п.). Для этого существует много различных приложений и онлайн-сервисов. Парсинг одного из таких сервисов будет показан по ссылке выше.


Почти 3 месяца назад у нас появилась Платная услуга по составлению заданий для А-Парсера. Она оказалась очень актуальна среди новых пользователей парсера, а также среди тех, у кого не хватает времени на его изучение. За время ее существования было составлено более 70 заданий, при этом 75% состояли из 2-х и более пресетов. Среднее время на составление одного заказа, от согласования деталей до получения готового набора пресетов, составляет около 4 часов. При этом, каждый пресет тщательно тестируется, а получаемый результат обсуждается с клиентом.

Так как A-Parser - это программа для парсинга различной информации, 26 ноября, во Всемирный день информации, будет разыграно:

• 5 пакетов прокси (100 потоков на месяц)
• 3 бесплатных составления 1-го задания для А-Парсера

В акции принимают участие все, кто ретвитнет нашу новость об этой акции в Twitter. Подписывайтесь на наши каналы в Twitter: русскоязычный @a_parser и англоязычный @a_parser_en и следите за новостями на сайте! Победители акции будут определены случайно с помощью сервиса random.org. Видео определения победителей будет выложено вместе с результатами акции.

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий

[Forbidden]

Снижение комиссии при оплате PayPro и Итоги акции

В связи с плохой проходимостью платежей в системе Interkassa было принято решение снизить комиссию PayPro до 3%. PayPro теперь является рекомендуемым способом оплаты, который принимает все популярные платежные системы: PayPal, Visa/MasterCard, QIWI, Yandex.Money, Wire Transfer

Напоминаю что всегда доступен прием WebMoney без комиссии

Одновременно с этим мы перевели Members Area на русский язык, добавили систему уведомлений на e-mail, а также готовим инструкцию по использованию нашего магазина

Итоги акции:

Итак, сегодня 26 ноября, а значит пора подводить итоги нашей акции!
Всего участников оказалось не так и много - 14 человек. Поэтому шансы получить 1 из 8-ми призов были довольно велики.
Было проведено определение победителей, видео по ссылке: http://files.a-parser.com/Video/Action_26_11_15.avi



Искренне поздравляем всех счастливчиков! А те, кому не повезло в этот раз - не отчаивайтесь, вскоре будут новые акции! Поэтому следите за нашими новостями на сайте или в Твиттере.

Победители, для уточнения деталей и получения призов, свяжитесь через Твиттер с выигрышных аккаунтов с администрацией А-Парсера @a_parser.

[Forbidden]

A-Paeser - 1.1.355 - улучшения работы с регионами в Google и Яндексе, новые методы API, множество исправлений

Улучшения

• В парсере SE::Yandex теперь также собираются ссылки на колдунщики(внутренние сервисы Яндекса), что позволяет более точно определять позиции сайтов в выдаче
• В парсере SE::Yandex улучшено определение misspell(исправленных) запросов
• В парсере SE::Yandex домен Яндекса теперь выбирается автоматически в зависимости от выбранного региона
• В парсере SE::Google улучшена работа с сессиями
• В парсере SE::Bing добавлен выбор локации
• В интерфейсе парсера теперь доступен список последних сообщений с форума поддержки
• Для парсера SE::Yandex добавлена поддержка турецкого домена yandex.com.tr
• В парсере Net::HTTP добавлена поддержка шаблонизатора в поле Cookies
• Теперь у начального текста, формата результата и конечного текста, общее пространство переменных, что позволяет решать задачи по выводу статистики
• В макрос num добавлена возможность указать шаг итераций, формат {num:START:END:STEP}
• Добавлен новый метод API getParserInfo - выводит список всех доступных результатов, который может вернуть парсер
• Добавлен новый метод API update - обновляет исполняемый файл парсера до последней доступной версии, после успешного ответа A-Parser будет автоматически перезапущен
• Метод API info теперь дополнительно выдает список всех доступных парсеров

Исправления в связи с изменениями в выдаче

• В SE::Google исправлено указание локации
• В SE::Bing исправлен парсинг серпа и связанных ключевых слов
• В SE::Yandex исправлен сбор сниппетов и анкоров
• В SE::Yahoo исправлен парсинг выдачи и работа с региональными доменами
• Исправлены Rank::Category, SE::Bing::Images, SE::Bing::LangDetect, SE::Baidu, SE::AOL, SE::Google::SafeBrowsing, SE::Yandex::Register

Исправления

• Исправлено игнорирование максимального числа активных заданий
• В парсере HTML::LinkExtractor исправлена обработка относительных ссылок
• Исправлена перезапись результатов при паузе\старте или при перезапуске парсера и одновременно включенной опции "Перезаписать файл"
• Исправлена работа функции tools.parseJSON если страница была декодирована в UTF-8
• Исправлен вывод результатов в Тестировщике заданий

[Forbidden]

A-Parser: вводный видео урок, обзор возможностей

Денис Бартаев рассказывает о базовых возможностях A-Parser



В выпуске рассматриваются:

• Основные настройки рядового парсера на примере SE::Yandex
• Настройки Антигейт
• Настройки прокси с проверкой статуса и без
• Основные инструменты тестирования результатов парсинга
• Базовые методы работы с шаблонизатором результатов, переменные парсеров
• Примеры создания заданий, и описание процедуры работы с Редактором заданий

Подписывайтесь на наш канал!

[Forbidden]

A-Parser на СПИК 2015 - запись доклада Леонида Гроховского

A-Parser на СПИК 2015! Почти половина доклада посвящена обзору некоторых возможностей A-Parser

Как использовать парсеры для SEO? Как проверять индексацию страниц, как узнать позиции сайта. Об этом в докладе "Парсеры на службе у SEO-специалистов" рассказывает Леонид Гроховский. Подписывайтесь на его канал https://www.youtube.com/user/Grohovskiy
И на наш https://www.youtube.com/channel/UCvy...Cky8tPtebmIvQw



Тезисы:

• Проверка индексации сайтов
• Сбор сниппетов
• Парсинг подсвеченных слов из сниппетов
• Проверка позиций и входных страниц
• Сбор запросов и подсказок
• Определение частотности для списка запросов
• Парсинг VK
• Выкачивание базы у любого сайта
• Взаимодействие с A-Parser через API

[Forbidden]

A-Parser - 1.1.370 - планировщик заданий, улучшения в парсерах Google и Яндекса

В новой версии добавлен планировщик заданий, позволяющий легко запланировать выполнение задач, требующих периодичного исполнения, например такие как анализ позиций сайтов или ссылочных показателей



Другие улучшения

• В опции Check next page для парсера Net::HTTP добавлен параметр Limit, позволяющий ограничивать максимальное число переходов на следующую страницу
• В парсере SE::Google улучшена работа с сессиями
• Парсеры SE::Google и SE::Yandex оптимизированы при работе без антигейта
• Для парсера SE::Bing::Translator добавлены все новые языки
• В API при добавлении задания появилась возможность указать флаг removeOnRestart, при указании которого задания будут автоматически удалены при перезапуске парсера

Исправления в связи с изменениями в выдачи

• SE::Ask - парсилась только первая страница
• SE::Google - исправлен парсинг сниппетов
• Исправлены SE::MailRu, SE::Dogpile, SE::Google::pR, SE::QIP и SE::QIP::position

Исправления

• При использовании нескольких форматов запросов и опции Parse to level парсер мог вылетать с ошибкой
• В парсере SE::Google могла повторно отправляться каптча при использовании антигейта
• Исправлен баг с отображением формата результата после импорта пресета
• Исправлен баг с отображением переменных в Конструкторе результатов

[Forbidden]

A-Parser - 1.1.388 - новый парсер disconnect.me, улучшения в экспорте заданий

Улучшения

• Добавлен парсер SE::DisconnectMe - поисковая система от бывших сотрудников Google, можно выбирать один из трех вариантов выдачи: Google, Bing, Yahoo
• Теперь при сохранении пресета задания, сохраняется название файла запросов или сам список запросов
• При экспорте задания, появилась возможность указать включать или нет запросы в код пресета, а также теперь отображается список настроек парсеров которые будут включены в код
• В очереди заданий добавлена возможность свернуть\развернуть одновременно все задания на странице
• В очереди заданий для свернутых заданий теперь отображается время выполнения
• Увеличена скорость парсинга SE::Google

Исправления в связи с изменениями в выдачи

• В SE::Google::Images больше не парсится параметр size
• Исправлены SE::Google, SE::Google::TrustCheck, SE::Google::Compromised, SE::Ask, SE::Dogpile, Rank::Mustat, Rank::Category, SE::AOL

Исправления

• A-Parser мог падать при использовании парсеров SE::Yandex::WordStat, SE::Dogpile, а также при использовании Просмотра логов после перезапуска парсера
• В парсере Net::Whois не определялась дата экспайра для некоторых доменов
• В парсере SE::Bing не корректно обрабатывались ссылки содержащие символ &

Обновление партнерской программы

Участвуйте в нашей партнерской программе рекламируя A-Parser в своих блогах и на форумах! Размер комиссии - 15%:

• A-Parser Lite: $18
• A-Parser Pro: $30
• A-Parser Enterprise: $42

В обновленном интерфейсе доступна удобная статистика заработанных средств и выплат, а также список привлеченных пользователей

Подробнее про условия участия в партнерской программе читайте в соответствующем разделе

[Forbidden]

A-Parser: видео урок по парсингу 2ГИС

Денис Бартаев рассказывает о парсинге информации о компаниях и их телефонов из базы 2ГИС



В выпуске рассматриваются

• Использование парсера-паука HTML::LinkExtractor и его настройка для фильтрации ссылок
• Работа с параметром Parse To Level
• Использование парсера Net::HTTP и его настройка для выборки данных со страницы с помощью регулярных выражений
• Создание Excel-таблицы из результатов парсинга

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео