A-Parser - версия 0.9.356
Добавлен полноценный парсер SE::YouTube - парсит ссылку на ролик, титл, описание, имя пользователя, дату добавления, количество просмотров и длину ролика. Поддерживает все фильтры YouTube - по стране, по дате загрузки, типу результата(ролики, плейлисты, каналы), длине ролика, дополнительных параметров(HD, субтитры, CC лицензия, 3D контент, онлайн трансляция), сортировку(по релевалентности, количеству просмотров или рейтингу).
Для парсера SE::Yandex::Suggest добавлена возможность подстановки найденных кейвордов в запросы до указанного уровня, аналогично как сделано в парсере подсказок Google. Для парсера подсказок SE::Google::Suggest добавлена возможность выбора региона.
Теперь все макросы подстановок можно использовать непосредственно в списке запросов, что позволяет для разных запросов указывать свои подстановки.
Новые возможности в выводе результатов: теперь можно указать какие именно позиции выводить в массиве, например можно вывести топ-3 ссылок с Google.
Полностью переписан модуль формирования результата, среднее ускорение парсинга примерно 10% на большом числе потоков.
Парсер Rank::CMS ускорен в связи с исправлением внутренней ошибки.
Связанные задачи:Ошибка #367: Failed windows-1251(and probably many others) decoding on linux
Ошибка #368: Fix RE compiling for each url in Rank::CMS - improve perfomance
Ошибка #374: Fix results formatting when used 10+ results from 'Parse custom result'
Улучшение #302: Парсер YouTube - totalcount, link, title, user, uploaded date, description, duration time, views + support all youtube filters
Улучшение #326: SE::Yandex::Suggests - автоподстановка в запрос найденных кейвордов
Улучшение #362: Improve google suggests parsing
Улучшение #363: Add option 'Log long running regex' for Rank::CMS - possibility for fast search bad regex
Улучшение #365: Использование макросов непосредственно в списке запросов
Улучшение #370: Add search from country support for SE::Google::Suggest
Улучшение #372: Перезагрузка парсера и прокси - первыми чекать сохраненные живые
Улучшение #375: Add results formatter compiler, improve perfomance ~10%
Улучшение #376: New results macros array[...][pos] and array[...][posStart-posEnd] - allow output only specified result from array. Pos start from 0
A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc
(Ответов: 309, Просмотров: 37699)
- 21.01.2013 14:22
- 11.02.2013 13:00
A-Parser - версия 0.9.370
Большое обновление интерфейса
- Просмотр настроек задания
- Редактирование созданного задания
- Копирование заданий
- Минимизация заданий
- Перемещение заданий в очереди вверх/вниз
- Просмотр текущего запроса целиком при наведении курсора
- Возможность удаления задания из очереди завершённых заданий
- Увеличение скорости работы интерфейса
Другие улучшения
- В парсер SE::Yandex::WordStat добавлена поддержка распознавания каптчи через АнтиКаптчу, аналогично как сделано для парсера SE::Yandex
- Теперь можно указывать разные данные для авторизации прокси в формате login:password@ip:port
- Улучшена скорость при сохранении прогресса задания
Исправления
- Добавлена поддержка авторизации для HTTP прокси при использовании CONNECT метода
- Исправлен подсчёт результатов при использовании двух и более парсеров одновременно
- Исправлен подсчёт средней скорости задания, теперь она считается с момента последнего старта задания
- Исправление медленного регулярного выражения в парсере SE::Bing
Связанные задачи:Ошибка #377: Fix results formating with some parsers(Net::Whois, ..)
Ошибка #378: Add support for proxy authorization with CONNECT method
Ошибка #379: Fix auth support for socks proxies
Ошибка #384: Unique URL count is inaccurate when using 2+ Parser
Ошибка #386: Fix wrong avg speed calculating(from task add time, now calc from start time)
Ошибка #390: Fix long running regex for SE::Bing
Улучшение #3: wait for stable ext js 4.1 and migrate
Улучшение #100: Implement task conf view in queue
Улучшение #101: Implement task edit
Улучшение #102: More logs usability + integration with queue
Улучшение #103: Move tasks in queue
Улучшение #143: Show full query on mouse over on Current query in Queue + truncate query to length of field
Улучшение #276: Stopped task in Active list - allow minimize (now all tasks can be minimized)
Улучшение #381: Wordstat + antigate
Улучшение #382: Прокси с разными данными для авторизации
Улучшение #383: Allow delete tasks from completed queue
Улучшение #387: Improve interface speed(when show big configs of tasks/proxychecker/parsers/etc)
Улучшение #388: Add posibility for copying tasks
Улучшение #389: Improve speed of saving/loading tasks
Улучшение #391: Flush results when pause/stop task - 12.03.2013 14:34
A-Parser - версия 0.9.383
Добавлен парсер Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:- Проверяет закрыта ли от индексации страница через robots.txt
- Проверяет meta тег robots на наличие атрибутов noindex и nofollow
- Проверяет наличие rel=nofollow у найденной ссылки
Парсер Rank::Ahrefs возвращен обратно
Теперь парсер собирает до 1000 результатов с каждого запроса
Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.
Исправлено:- Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
- Исправлен парсер SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса
Связанные задачи:Ошибка #402: Import preset not work
Ошибка #406: Fix parser crash when start paused task after server restart
Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
Ошибка #419: Fix {size} result in SE::Google::Images
Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
Ошибка #421: Fix SE::AOL parser
Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
Улучшение #393: Return Rank::Ahrefs parser
Улучшение #403: Now SE::Yandex can parse up to 1000 links per query - 13.03.2013 23:17
Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.
Всего за год была проделана огромная работа:- Выпущено 39 обновлений
- Сделано 195 улучшений
- Закрыта 141 ошибка
Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.
В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений. - 13.03.2013 23:40
C днем рождения! Спасибо за отличный софт!
- 14.03.2013 14:05
Поздравляю!
Парсеру исполнилось не только 1 год, он стал парсером №1 за это время!.
Для меня, этот парсер стал не просто парсилкой, а удобным инструментом для сбора аналитических данных.
Советую всем! - 14.03.2013 20:33
Подобная пага пишется за сутки, хз как вы осмелились это ещё и продавать. Лично мне даже на халяву это выложить. было бы стрёмно, ибо бесплатных аналогов очень много в Рунете...
Написал чисто как кодер
p.s
удачи в продажах
p.s.s
для обхода капчи Яндекса достаточно пару телодвижений. Если вы про это не знаете то увы, мне жаль ваших покупателей и ещё раз удачных вам продаж..Последний раз редактировалось Gloys; 14.03.2013 в 20:35.
- 18.03.2013 12:21
A-Parser - версия 0.9.389
Парсер SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча
В парсере Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика
Парсер SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру
Улучшен парсер Check::BackLink:- Теперь можно определить был ли редирект на странице нахождения беклинка
- В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
- Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку
Добавлена кнопка выхода из парсера(повторный запрос пароля)
Исправлен парсер HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.
Связанные задачи:Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue)
Улучшение #401: Подключение antigate.com к парсеру Google
Улучшение #414: Сделать парсер http заголовков
Улучшение #416: Яндекс - дата индекса ссылки
Улучшение #422: сделать кнопку логаута
Улучшение #423: Улучшение модуля Check::BackLink
Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink
---------- Сообщение добавлено 11:21 ---------- Предыдущее 11:11 ----------
откуда вы только такие беретесь :) пишу тебе как программист, как кодер ты никто пока не выложишь подобное на халяву - 29.03.2013 17:34
Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии :) Встречайте версию 1.0.0!
Главное нововведение - конструктор запросов:
Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:
- Разделение запроса на части с помощью регулярного выражения
- Замена подстроки в запросе или замена регулярным выражением
- Выделение домена\главного домена из ссылки
- Добавление знака ! перед каждым словом в запросе(необходимо для парсера SE::Yandex::WordStat)
- Приведение запроса к верхнему\нижнему регистру
Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросов
Забегая вперёд расскажу о ближайших планах расширения функциональности:- Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
- Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности
Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь :)
Другие изменения в этой версии:- Число результатов в парсере SE::QIP автоматически преобразовывается из строк "миллионов" и "тысяч"
- Исправлен парсер Rank::Alexa в связи с изменением выдачи
- Исправлен парсер SE::Yandex - на некоторых запросах мог долго обрабатывать страницу что приводило к зависанию
Связанные задачи:Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned
Ошибка #431: не правильный парсинг Алекса Ранк
Ошибка #432: 2 запроса {query}
Ошибка #437: Check::BackLink падает на некоторых ресурсах
Ошибка #438: Fix long SE::Yandex regex
Улучшение #380: Query builder
Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом - 11.04.2013 10:09
A-Parser - версия 1.0.11
Обновилось API, добавлено 3 метода:- addTask - полноценное добавление задания, со всеми настройками
- getTaskState - получение состояния задания(статистика выполнения, текущий статус)
- changeTaskStatus - изменение статуса задания(пауза\старт\стоп\уд аление)
В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель
Парсер SE::YouTube теперь дополнительно парсит ссылку на превью ролика
Исправлено:- Парсер SE::YouTube в связи с изменением верстки
- Парсер SE::Yandex - исправлено определение даты попадания в индекс
Связанные задачи:Ошибка #412: Can't edit task created from quick task menu
Ошибка #413: In quick task need to set unique queries for Parse to level with suggests
Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0)
Ошибка #445: Не работает парсер Youtube
Ошибка #449: SE::Yandex: баги с поиском даты
Улучшение #273: в API нету добавления задания
Улучшение #439: Разделение запроса через произвольный разделитель
Улучшение #441: сохранение прокси без указания типа(http://, socks://)
Улучшение #444: Парсер Youtube - ссылка на превью ролика
Улучшение #446: Get task state and change task status with API
Тэги топика:
« Лучший Чекер Логов 40$ за ВСЁ | - »
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
LTK Parser - парсер поисковых подсказок на разных языках | Софт, скрипты, лицензии | 12 | 06.05.2012 21:10 |
Парсер контента под дорвеи и сателлиты X-Parser | Софт, скрипты, сервисы | 0 | 15.08.2010 23:51 |
KD Parser - парсер ключевых слов | Софт, скрипты, лицензии | 2 | 10.04.2010 21:47 |
Хороший Парсер Я.Директ и Wordstat - Магадан | Поисковые системы | 10 | 24.11.2009 16:52 |
Хороший Парсер Я.Директ и Wordstat - Магадан | Софт, скрипты, сервисы | 4 | 15.09.2009 19:38 |