Вот это оперативность, респект, и экспорт с http и уровень домена на отсечку, все что душа просила! Огромное спасибо! Теперь можно с головой погрузиться в работу не думая о мелочах )))
Программа парсит по 50 ссылок на 1 странице, всего яндекс дает 20 страниц .. то есть 1000 ссылок, но вы можете пользоваться различными доп. словами, задавать даты выдачи ... это увеличит грубину парсинга. В будущем программа будет это все сама делать, то есть вы указали собрать базу по слову магазины цифровой техники ... программа сама сгенерирует нужные слова и вам надо будет только выбрать ПС и нажать кнопку старта.
---------- Сообщение добавлено 08:51 ---------- Предыдущее 08:51 ----------
Само по себе устройство поисковой системы таково, что глубже 1000й ссылки не возможно собрать выдачу яндекса, какая бы это не была программа. Есть только возможность крутить поисковую фразу с другими словами и параметрами, для получения большего количесвта ссылок по интересующей вас теме, примерно так работает BabloPars, крутит фразу по разным регионам от разных IP и за все даты, тоже самое умеет делать и WebParser, все что нужно задать доп фразы и сгенерировать запросы по дате.
Итак, в WebParser есть генератор поисковых фраз. Вы задаете поисковую фразу, шаблон и промежуток времени (дат) за который собрать выдачу, а он вам выдает поисковые фразы. Генератор поддерживает любой формат даты. Примеры шаблонов можно увидеть по кнопке Макро шаблоны справа вверху на форме Генератора фраз.
Например
GOOGLE (Use Julian Date): inurl:{QUERY} daterange:{START_DATE}-{END_DATE}
Не забывает что для яндекса формат даты yyyymmdd, а для гугла это Юлианская дата (в unix формате)
Прибавляя к фразам еще и Дополнительные фразы получаем всю выдачу яндекса или другого поисковика по интересующей фразе. Например выбрав Группу допольнительных фраз "Форумы", получим еще дополнительно 150 доп фраз
Это значит что каждая фраза крутится с 150 другими доп фразами: фраза 1 + доп фраза 1 фраза 1 + доп фраза 2 ... фраза 2 + доп фраза 1 фраза 2 + доп фраза 2
Получается для разрезки на год, с периоднолм 1 день: 1 фраза = 150 доп фраз * 356 запросов по дате = 53400 запрсов
Вот и выходит что с одной фразы можно собрать столько что вам и не снилось даже, если крутить не за год а за 5 лет скажем. Разумеется фразы в которых мало ссылок просто не имеет смысла крутить таким образом.
Заканчиваем дискуссии и переходы на личности! Пишем строго по теме, дальнейшие оскорбления и флуд будут наказываться. Обсуждения переносим в средства связи и там же выясняем отношения!
У кого есть лицензия на любой программный комплекс от CyberMake, могут получить доступ к закрытому форуму с обсуждением продукта. Дело в том что форум очень сильно спамили и пришлось вообще вырубать функционал форума на очень долгое время, в итоге сегодня сделали форум закрытым.
Так вот к чему я клоню не нужно в теме писать всякие мелочи вроде, здесь у вас баг исправьте, добавьте сюда кнопочку и т.д. Разработчкики софта не всегда читают все форумы и выходит задержка с исправлением бага. Поэтому если вам не сложно идите на прямую на наш форум. Там вам и помогут разобраться с программой, если окажется, что бага в программе нет.
Чтобы получить доступ напишите нам письмо с указанием логина и email. Почта и адрес форума указаны ниже. Если же есть желание поучаствовать в жизни форума, но вы не приобретали у нас лицензии пишите тоже на почту.
Спасибо за внимание.
forum.cybermake.ru
Почтоый адрес тех поддержки: support [:SOBAKA:] cybermake.com