A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc

(Ответов: 286, Просмотров: 32540)
Страница 3 из 29 Первая 1234513 Последняя
  1. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 255
    • Репутация: 21
    A-Parser - версия 0.9.356

    Добавлен полноценный парсер SE::YouTube - парсит ссылку на ролик, титл, описание, имя пользователя, дату добавления, количество просмотров и длину ролика. Поддерживает все фильтры YouTube - по стране, по дате загрузки, типу результата(ролики, плейлисты, каналы), длине ролика, дополнительных параметров(HD, субтитры, CC лицензия, 3D контент, онлайн трансляция), сортировку(по релевалентности, количеству просмотров или рейтингу).

    Для парсера SE::Yandex::Suggest добавлена возможность подстановки найденных кейвордов в запросы до указанного уровня, аналогично как сделано в парсере подсказок Google. Для парсера подсказок SE::Google::Suggest добавлена возможность выбора региона.

    Теперь все макросы подстановок можно использовать непосредственно в списке запросов, что позволяет для разных запросов указывать свои подстановки.

    Новые возможности в выводе результатов: теперь можно указать какие именно позиции выводить в массиве, например можно вывести топ-3 ссылок с Google.

    Полностью переписан модуль формирования результата, среднее ускорение парсинга примерно 10% на большом числе потоков.

    Парсер Rank::CMS ускорен в связи с исправлением внутренней ошибки.

    Связанные задачи:
    Ошибка #367: Failed windows-1251(and probably many others) decoding on linux
    Ошибка #368: Fix RE compiling for each url in Rank::CMS - improve perfomance
    Ошибка #374: Fix results formatting when used 10+ results from 'Parse custom result'
    Улучшение #302: Парсер YouTube - totalcount, link, title, user, uploaded date, description, duration time, views + support all youtube filters
    Улучшение #326: SE::Yandex::Suggests - автоподстановка в запрос найденных кейвордов
    Улучшение #362: Improve google suggests parsing
    Улучшение #363: Add option 'Log long running regex' for Rank::CMS - possibility for fast search bad regex
    Улучшение #365: Использование макросов непосредственно в списке запросов
    Улучшение #370: Add search from country support for SE::Google::Suggest
    Улучшение #372: Перезагрузка парсера и прокси - первыми чекать сохраненные живые
    Улучшение #375: Add results formatter compiler, improve perfomance ~10%
    Улучшение #376: New results macros array[...][pos] and array[...][posStart-posEnd] - allow output only specified result from array. Pos start from 0
    • 0
  2. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 255
    • Репутация: 21
    A-Parser - версия 0.9.370

    Большое обновление интерфейса

    • Просмотр настроек задания
    • Редактирование созданного задания
    • Копирование заданий
    • Минимизация заданий
    • Перемещение заданий в очереди вверх/вниз
    • Просмотр текущего запроса целиком при наведении курсора
    • Возможность удаления задания из очереди завершённых заданий
    • Увеличение скорости работы интерфейса

    Другие улучшения

    • В парсер SE::Yandex::WordStat добавлена поддержка распознавания каптчи через АнтиКаптчу, аналогично как сделано для парсера SE::Yandex
    • Теперь можно указывать разные данные для авторизации прокси в формате login:password@ip:port
    • Улучшена скорость при сохранении прогресса задания

    Исправления

    • Добавлена поддержка авторизации для HTTP прокси при использовании CONNECT метода
    • Исправлен подсчёт результатов при использовании двух и более парсеров одновременно
    • Исправлен подсчёт средней скорости задания, теперь она считается с момента последнего старта задания
    • Исправление медленного регулярного выражения в парсере SE::Bing

    Связанные задачи:
    Ошибка #377: Fix results formating with some parsers(Net::Whois, ..)
    Ошибка #378: Add support for proxy authorization with CONNECT method
    Ошибка #379: Fix auth support for socks proxies
    Ошибка #384: Unique URL count is inaccurate when using 2+ Parser
    Ошибка #386: Fix wrong avg speed calculating(from task add time, now calc from start time)
    Ошибка #390: Fix long running regex for SE::Bing
    Улучшение #3: wait for stable ext js 4.1 and migrate
    Улучшение #100: Implement task conf view in queue
    Улучшение #101: Implement task edit
    Улучшение #102: More logs usability + integration with queue
    Улучшение #103: Move tasks in queue
    Улучшение #143: Show full query on mouse over on Current query in Queue + truncate query to length of field
    Улучшение #276: Stopped task in Active list - allow minimize (now all tasks can be minimized)
    Улучшение #381: Wordstat + antigate
    Улучшение #382: Прокси с разными данными для авторизации
    Улучшение #383: Allow delete tasks from completed queue
    Улучшение #387: Improve interface speed(when show big configs of tasks/proxychecker/parsers/etc)
    Улучшение #388: Add posibility for copying tasks
    Улучшение #389: Improve speed of saving/loading tasks
    Улучшение #391: Flush results when pause/stop task
    • 0
  3. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 255
    • Репутация: 21
    A-Parser - версия 0.9.383

    Добавлен парсер Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:
    • Проверяет закрыта ли от индексации страница через robots.txt
    • Проверяет meta тег robots на наличие атрибутов noindex и nofollow
    • Проверяет наличие rel=nofollow у найденной ссылки

    Парсер Rank::Ahrefs возвращен обратно

    Теперь парсер собирает до 1000 результатов с каждого запроса

    Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.

    Исправлено:
    • Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
    • Исправлен парсер SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса

    Связанные задачи:
    Ошибка #402: Import preset not work
    Ошибка #406: Fix parser crash when start paused task after server restart
    Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
    Ошибка #419: Fix {size} result in SE::Google::Images
    Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
    Ошибка #421: Fix SE::AOL parser
    Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
    Улучшение #393: Return Rank::Ahrefs parser
    Улучшение #403: Now SE::Yandex can parse up to 1000 links per query
    • 0
  4. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 255
    • Репутация: 21


    Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.

    Всего за год была проделана огромная работа:
    • Выпущено 39 обновлений
    • Сделано 195 улучшений
    • Закрыта 141 ошибка

    Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.

    В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений.
    • 0
  5. Студент Аватар для M03G
    • Регистрация: 06.09.2012
    • Сообщений: 37
    • Репутация: 5
    • Webmoney BL: ?
    C днем рождения! Спасибо за отличный софт!
    • 0
  6. Новичок Аватар для SBot
    • Регистрация: 29.07.2008
    • Сообщений: 1
    • Репутация: 39
    Поздравляю!
    Парсеру исполнилось не только 1 год, он стал парсером №1 за это время!.
    Для меня, этот парсер стал не просто парсилкой, а удобным инструментом для сбора аналитических данных.
    Советую всем!
    • 0
  7. Студент Аватар для Gloys
    • Регистрация: 18.02.2012
    • Сообщений: 32
    • Репутация: 7
    Подобная пага пишется за сутки, хз как вы осмелились это ещё и продавать. Лично мне даже на халяву это выложить. было бы стрёмно, ибо бесплатных аналогов очень много в Рунете...
    Написал чисто как кодер
    p.s
    удачи в продажах
    p.s.s
    для обхода капчи Яндекса достаточно пару телодвижений. Если вы про это не знаете то увы, мне жаль ваших покупателей и ещё раз удачных вам продаж..
    Последний раз редактировалось Gloys; 14.03.2013 в 20:35.
    • -1
  8. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 255
    • Репутация: 21
    A-Parser - версия 0.9.389

    Парсер SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча


    В парсере Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика

    Парсер SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру


    Улучшен парсер Check::BackLink:
    • Теперь можно определить был ли редирект на странице нахождения беклинка
    • В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
    • Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку

    Добавлена кнопка выхода из парсера(повторный запрос пароля)

    Исправлен парсер HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.

    Связанные задачи:
    Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue)
    Улучшение #401: Подключение antigate.com к парсеру Google
    Улучшение #414: Сделать парсер http заголовков
    Улучшение #416: Яндекс - дата индекса ссылки
    Улучшение #422: сделать кнопку логаута
    Улучшение #423: Улучшение модуля Check::BackLink
    Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink


    ---------- Сообщение добавлено 11:21 ---------- Предыдущее 11:11 ----------

    Цитата Сообщение от Gloys Посмотреть сообщение
    Подобная пага пишется за сутки, хз как вы осмелились это ещё и продавать. Лично мне даже на халяву это выложить. было бы стрёмно, ибо бесплатных аналогов очень много в Рунете...
    Написал чисто как кодер
    p.s
    удачи в продажах
    p.s.s
    для обхода капчи Яндекса достаточно пару телодвижений. Если вы про это не знаете то увы, мне жаль ваших покупателей и ещё раз удачных вам продаж..


    откуда вы только такие беретесь :) пишу тебе как программист, как кодер ты никто пока не выложишь подобное на халяву
    • 0
  9. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 255
    • Репутация: 21
    Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии :) Встречайте версию 1.0.0!



    Главное нововведение - конструктор запросов:



    Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:

    • Разделение запроса на части с помощью регулярного выражения
    • Замена подстроки в запросе или замена регулярным выражением
    • Выделение домена\главного домена из ссылки
    • Добавление знака ! перед каждым словом в запросе(необходимо для парсера SE::Yandex::WordStat)
    • Приведение запроса к верхнему\нижнему регистру

    Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросов

    Забегая вперёд расскажу о ближайших планах расширения функциональности:
    • Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
    • Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности

    Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь :)

    Другие изменения в этой версии:
    • Число результатов в парсере SE::QIP автоматически преобразовывается из строк "миллионов" и "тысяч"
    • Исправлен парсер Rank::Alexa в связи с изменением выдачи
    • Исправлен парсер SE::Yandex - на некоторых запросах мог долго обрабатывать страницу что приводило к зависанию

    Связанные задачи:
    Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned
    Ошибка #431: не правильный парсинг Алекса Ранк
    Ошибка #432: 2 запроса {query}
    Ошибка #437: Check::BackLink падает на некоторых ресурсах
    Ошибка #438: Fix long SE::Yandex regex
    Улучшение #380: Query builder
    Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом
    • 0
  10. Опытный Аватар для Forbidden
    • Регистрация: 17.08.2010
    • Сообщений: 255
    • Репутация: 21
    A-Parser - версия 1.0.11

    Обновилось API, добавлено 3 метода:
    • addTask - полноценное добавление задания, со всеми настройками
    • getTaskState - получение состояния задания(статистика выполнения, текущий статус)
    • changeTaskStatus - изменение статуса задания(пауза\старт\стоп\уд аление)
    Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптами

    В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель

    Парсер SE::YouTube теперь дополнительно парсит ссылку на превью ролика

    Исправлено:
    • Парсер SE::YouTube в связи с изменением верстки
    • Парсер SE::Yandex - исправлено определение даты попадания в индекс

    Связанные задачи:
    Ошибка #412: Can't edit task created from quick task menu
    Ошибка #413: In quick task need to set unique queries for Parse to level with suggests
    Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0)
    Ошибка #445: Не работает парсер Youtube
    Ошибка #449: SE::Yandex: баги с поиском даты
    Улучшение #273: в API нету добавления задания
    Улучшение #439: Разделение запроса через произвольный разделитель
    Улучшение #441: сохранение прокси без указания типа(http://, socks://)
    Улучшение #444: Парсер Youtube - ссылка на превью ролика
    Улучшение #446: Get task state and change task status with API
    • 0
Страница 3 из 29 Первая 1234513 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
LTK Parser - парсер поисковых подсказок на разных языках
Софт, скрипты, лицензии 12 06.05.2012 21:10
Парсер контента под дорвеи и сателлиты X-Parser
Софт, скрипты, сервисы 0 15.08.2010 23:51
KD Parser - парсер ключевых слов
Софт, скрипты, лицензии 2 10.04.2010 21:47
Хороший Парсер Я.Директ и Wordstat - Магадан
Поисковые системы 10 24.11.2009 15:52
Хороший Парсер Я.Директ и Wordstat - Магадан
Софт, скрипты, сервисы 4 15.09.2009 19:38

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры