True Search Engines Parser - бесплатный парсер поисковых систем

(Ответов: 1, Просмотров: 1854)
  1. Новичок
    • Регистрация: 21.07.2015
    • Сообщений: 11
    • Репутация: 2


    True Search Engines Parser предназначен для парсинга ссылок, сниппетов, подсказок поисковых систем Google, Yandex.

    Системные требования
    Windows XP, 7, 8, 8.1, 10
    Microsoft .NET Framework 3.5 или выше

    Описание параметров
    Threads – количество потоков.
    SE – выбор поисковой системы и языка.
    Save key – Сохранять ли ключ по которому найден результат. В data.txt результат будет http://example.com/[PARAM]: Авто
    Level – глубина парсинга. Количество страниц, которое нужно открыть (для Google на каждой странице 100 результатов, и максимум 10 страниц). 0 – парсить до самого конца (для Google 10)
    Proxy – брать из файла proxy.txt или подгружать прокси по указанному адресу каждую минуту. Важно!!! Программа без прокси не работает, так как ПС быстро блокируют ip и выдают капчу.
    Файл keys.txt – запросы
    Файл proxy.txt – прокси-серверы (заполнять если выбрано брать прокси из файла, а не подгружать по URL)
    Файлы нужно заполнять перед запуском программы и обязательно в кодировке utf-8.

    Конкретный пример использования парсера
    Допустим стоит задача спарсить сайты на движке Joomla. Признак этого движка – наличие "option=com_content" в URL. Если вбить в Google запрос inurl:"option=com_content" то Google выдаст не более 1 000 результатов, для того чтобы спарсить больше сайтов нужно использовать вариаторы. Это выглядит примерно так:

    inurl:"option=com_content" Авто
    inurl:"option=com_content" Ремонт
    Чтобы автоматически создать большой список нужных вариаторов можно использовать программу Комбинаторика. Программа делает вариации из 2-х списков. К примеру если на входе есть:

    1 список:
    key1
    key2

    2 список:
    key3
    key4

    То на выходе получается:
    key1 key3
    key1 key4
    key2 key3
    key2 key4

    В комплекте есть несколько словарей-вариаторов. Возьмём два любых списка вариаторов, к примеру "вариаторы towns bez stran.txt" и "вариаторы высокочастотные.txt". Кладём эти списки в "1.txt" и "2.txt" соответственно, запускаем прогу, в разделитель вводим пробел вместо двоеточий, нажимаем комбинаторика, закрываем прогу - в data.txt получили 7,5 млн запросов))) осталось добавить признак движка: переименовываем data.txt в 2.txt, а в 1.txt вводим признак к примеру inurl:"option=com_content". Запускаем, разделитель снова пробел, и на выходе получаем что-то типа:

    inurl:"option=com_content" Абаза год
    inurl:"option=com_content" Абаза человек
    inurl:"option=com_content" Абаза время
    inurl:"option=com_content" Абаза дело
    То что и требовалось. Теперь подсовываем этот список в True Search Engines Parser.

    Известные проблемы: иногда после закрытия программы процесс продолжает висеть в диспетчере задач, и его нужно завершать вручную.

    Официальная страничка парсера, где можно скачать последнюю версию:

    http://nevep.ru/25-true-search-engines-parser

    p.s. Автор не я, но можете писать свои вопросы здесь или на сайте разработчика.
    Последний раз редактировалось zhu4koff; 28.06.2016 в 09:43.
    • 0
  2. Дипломник Аватар для bekett
    • Регистрация: 02.09.2011
    • Сообщений: 214
    • Репутация: 46
    • Webmoney BL: ?
    Google быстро забанит за операторы inurl:
    лучше без них
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
A-Parser - продвинутый парсер поисковых систем, Suggest, WordStat, PR, DMOZ, Whois, DNS, etc
Софт, скрипты, лицензии 202 Сегодня 18:23
LTK Parser - парсер поисковых подсказок на разных языках
Софт, скрипты, лицензии 12 06.05.2012 21:10
Кэши поисковых систем
Общие вопросы поисковой оптимизации 10 26.04.2012 21:07
Парсер контента под дорвеи и сателлиты X-Parser
Софт, скрипты, сервисы 0 15.08.2010 23:51
KD Parser - парсер ключевых слов
Софт, скрипты, лицензии 2 10.04.2010 21:47

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры