[DruGer]

Продолжаю делится тулзами, которые юзаю.
Есть такой чудесный портал http://web.de/ (Алекса 173 по миру, и 10 по Германии).
У них в свою очередь есть поиск на главной

http://suche.web.de/search/webhphot/

А поиск в свою очередь от Гугла.



У этого сервиса есть аналог яндексовского прямого ефира.

http://suche.web.de/search/web/livesuche_res

Т.е. то, что юзеры ищут сейчас. С этого сервиса мы и будем получать кеи.
Я в програмировании вообще не шарю, по этому как мне все это собрали, так и делюсь. Не знаю можег это и не самые оптимальные варианты.
Итак сам парсер.

PHP код:

 <? 
    ignore_user_abort(true); 
    set_time_limit(90); 
    @ini_set('max_execution_time',0); 
    @ini_set('set_time_limit',0); 

$x=0;
    while ($x<6)  
    {  
$x++; 
        $cur_str=file_get_contents ("http://suche.web.de/search/web/livesuche_res/"); 
        $arr1=explode ('<span>',$cur_str); 
        $str2=''; 
        for($i=1;$i<28;$i++) 
        { 
            $t=substr($arr1[$i],0, strpos($arr1[$i],'</span>')); 
            $str2.=$t."\n";; 
        } 
        $str2=html_entity_decode ($str2, ENT_QUOTES, 'UTF-8'); 
        file_put_contents ('1.txt', $str2, FILE_APPEND); 
        $delay=rand(9,17); 
        sleep($delay); 
    } 
?>

while ($x<6) - в этом параметре меняем сколько раз в минуту будет скрипт делать сохранение в файл.
Сам скрипт ставлю на крон. В файле за сутки собирается просто огромнейшая база ).
Все как бы. Первая часть готова - мы получаем базу популярных и актуальных кеев. Что дальше? Дальше каждый может обрабатывать данные как считает нужным. Делюсь своими методами.

Дальше я юзаю этот скриптик, который считает все одинаковые кеи и напротив каждого ставит количество повторов (т.е. сколько раз его искали за промежуток времени, в который мы парисили.)

PHP код:

<?php

$keys=file('keys.txt',FILE_SKIP_EMPTY_LINES);
foreach ($keys as $key) {
$key=rtrim($key);
if (!empty($key)) $new[$key]+=1;
}

unset($keys);
foreach ($new as $key => $num)
$m.= $key.' '.$num."\r\n";
unset($new);
file_put_contents('keys2.txt',$m);
?>

После этого отбираю самые популярные. Проверяю с помощью этой проги

http://solutionfix.org/soft/numres/

количество документов в поисковиках и таким образом получаю кеи которые ищут и выдача гугла менее 100К (это у меня так ). Т.е. низкоконкурентные популярные кеи.

Далее вариант для получения тематических кеев. В частности фарма. Качаем прогу

http://www.newox.ru/kwk.php

KeyWordKeeper 4.2.4 - зверь в работе с кеями.

Открываем, отмечаем Выборка (1), выбираем файл (2) и кеи для выборки (3) и из всей базы прога нам выберет только актуальные поиски по фарма кеям.



Вот и все. С помощью указаных програм вы сможете спокойно безплатно создавать себе микро-базы.

Хотелось бы узнать, знает ли кто-нибудь что-нибудь подобное по ES или FR?

P.S. Для разделения баз и фильтра от дублей используем также методы описаные здесь
http://www.drugrevenue.com/forum/f26...agician-t1681/

[LEO]

Продолжаю делится тулзами, которые юзаю.
Есть такой чудесный портал http://web.de/ (Алекса 173 по миру, и 10 по Германии).

Т.е. то, что юзеры ищут сейчас. С этого сервиса мы и будем получать кеи.
Я в програмировании вообще не шарю, по этому как мне все это собрали, так и делюсь. Не знаю можег это и не самые оптимальные варианты.
Итак сам парсер.

А подобные сайты с прямым эфиром только на английском есть? Персер взял на заметку +1

[DruGer]

А подобные сайты с прямым эфиром только на английском есть? Персер взял на заметку +1

Да конечно, смотри.
Здесь я писал про подобный сервис - http://www.drugrevenue.com/forum/f26/dogpile-t1034/
Там подробно обсудили.
А здесь Димок сделал довольно полную подборку все-возможных сервисов (Google Trends особое внимание, хотя и начали давать только по 40 кеев ). - не совсем то, но в качестве лайв-идей очень поможет. Это все касательно твоего вопроса в инглиш-направлении )

[24110]

Все хорошо, только траффика по таким кеям очень мало. В любом случае, за идею большой плюс.

[LEO]

Да конечно, смотри.
Здесь я писал про подобный сервис - http://www.drugrevenue.com/forum/f26/dogpile-t1034/
Там подробно обсудили.
А здесь Димок сделал довольно полную подборку все-возможных сервисов (Google Trends особое внимание, хотя и начали давать только по 40 кеев ). - не совсем то, но в качестве лайв-идей очень поможет. Это все касательно твоего вопроса в инглиш-направлении )

Спасибо! http://actualkeywords.com/ пользовался много раз, вполне достойный сервис.

[darkdiver]

как вариант собрать базу на немецком, перевести на английский/французский/итальянский с помощью того же Google Translate, получится база кеев другой страны, хотя популярность у данных запросов будет не совсем соответствовать действительности.

[LEO]

как вариант собрать базу на немецком, перевести на английский/французский/итальянский с помощью того же Google Translate, получится база кеев другой страны, хотя популярность у данных запросов будет не совсем соответствовать действительности.

Я не думаю, что расхождение в интересах такое уж большое. Большинство запросов по европе к примеру совпадаю.... люди везде одинаковые и интересуются одними и теми же вещами.

за мысль про перевод спсб, чет сам не додумался

[24110]

Я не думаю, что расхождение в интересах такое уж большое. Большинство запросов по европе к примеру совпадаю.... люди везде одинаковые и интересуются одними и теми же вещами.

за мысль про перевод спсб, чет сам не додумался

С такой логикой и яндексовский вордстат можно перевести через гугл транслейт. Не правильно это.

[theasus]

как вариант собрать базу на немецком, перевести на английский/французский/итальянский с помощью того же Google Translate.

Пробовал как-то такую фишку. Результат плоховат. Многие кеи отличаются по смыслу, если перевести GTranslate'ом с немецкого на французский/английский. Приходится потом ручками всё чистить.
Я к тому, что это не вариант.

[tarkut]

Вот такой вариант добычи кеев устраивает:
Автоматический сборщик ключевых слов (Keyword Harvester)
Программа предназначена для сбора ключевых слов с сайтов.
Поиск можно осуществлять как вручную, вводя интересующие адреса сайтов, так и в автоматическом режиме.
Автоматический режим реализован следующим образом:
Вводится список сайтов.
Устанавливается интересуемая глубина проверки сайтов.
Выбираются поля поиска (header, теги и т.п.)
Стартуем процесс нажатием кнопки Go и получаем искомое.
Скачать ее можно тут: http://www.pastukhov.com/harvester/P...terInstall.exe