[DruGer]

Продолжаю серию полезных тулзов и методов, которые юзаю сам в своей практике.
Сегодня хочу обратить внимание публики, на такую вещь как Google Suggest.
Теория из Википедии

Google Suggest (англ. suggest — предлагать) — это технология автозаполнения строки поискового запроса на основе общей статистики самых популярных запросов. Таким образом, запрос пользователя «предсказывается» после ввода уже нескольких символов, и в выпадающем списке предлагается выбор готовых слов и словосочетаний. В основе сервиса лежит технология AJAX.

Что это такое? Это подсказки, которые выпадают из менюшки при вводе вами поискового слова/фразы.


Вот так вот. Что это такое - мы определились. Давайте подумаем - зачем? В этом поиске светятся реальные запросы юзеров. Да пусть их не очень много, да пусть трудно их получить, но они реальные. В своих темах я регулярно пропарсиваю гугл по этой схеме.
Месяца 3-4 назад нашел на каком то блоге (кажется это был Роджер) замечательный скрипт, который парсит Google Suggest.
Вот сам скрипт

PHP код:

<form method=post>
    Keyword: <input type=text name=keyword>
    <input type=submit>
</form>
<?
function text_between($start,$end,$string) {
  $keyword = '';
  if ($start != '') {$temp = explode($start,$string,2);} else {$temp = array('',$string);}
  $temp = @explode($end,$temp[1],2);
  $temp2 = @explode($end,$temp[1],3);
  $pages = (int)@str_replace(',','',$temp2[1]); 
  if ($pages) $keyword[$temp[0]] = $pages;
  return $keyword;
}

function gssc****($keyword) {
  $keyword=str_replace(" ","+",$keyword);
  global $kw;
  $data=file_get_contents('http://clients1.google.com/complete/search?hl=en&gl=uk&q='.$keyword);
  
  $data=explode('[',$data,3);
  $data=explode('],[',$data[2]);
  foreach($data as $temp) {
    $kx = text_between('"','"',$temp);
    if (is_array($kx)) $kw[key($kx)] = current($kx);
  }
}

if ($_REQUEST['keyword']!='') {
  gssc****($_REQUEST['keyword']);
  foreach ($kw as $keyword => $pages) {
      gssc****($keyword);
  }
arsort ($kw);
  echo "<table cellpadding=10 style='border-collapse:collapse;border:1px solid gray;'>";
  foreach ($kw as $k=>$v)
    {
        echo "<tr><td style='border:1px solid gray;'><a href=?keyword=".urlencode($k).">$k</td><td style='border:1px solid gray;' align=right>".number_format($v,0,'.',' ')."</td></tr>";
        $keywords_list.=$k."\n";
    }
    echo "</table>";
    echo "<p><textarea style='width:400px; height:100px;'>$keywords_list</textarea></p>";

}
?>
<hr />
<p align=center style="font-size:12px;">Google Suggest Sc****r</h3>

Скрин из рабочего состояния



1 - поле для ввода запроса
2 - полученые кеи с кол-вом доков в гугле (глючит)
3 - форма из которой легко можем скопировать кеи.


кому лень качать и ставить - http://drugrevenue.200u.com/123.php (аааа, палю фрихост) играемся пока гугл не забанит айпи. Так сказать Live Demo.

Надеюсь кому нибудь пригодится.

[24110]

Отлично, очень понравилось! По опыту - через сколько запросов банят IP? Если достаточно часто, можно на курле переписать, чтобы соксы юзал.

[Wert1go]

По опыту - через сколько запросов банят IP?

Присоединяюсь к вопросу:)

По сабжу, я давно пользуюсь Google Suggest, правда в ручном варианте, вбил посмотрел что там за кеи, записал в файлик и вперед, скрипт намного облегчает эту задачу

[DruGer]

Не, ребята, этого я не знаю. когда банит и как. По специфике своей работы, мне нужен этот скрипт около 10-15 раз в час-полтора. Пока соберу что нужно, и все. Не больше. За такие запросы не банит. А что будет если на поток поставить - не могу сказать.

[Mangock]

Попробовал в работе - замечательная вещь. За выходные постараюсь найти время для обертки этого скрипта, чтобы можно было не по слову выгребать , а по списку слов. Сделаю - обязательно выложу здесь.

[BABBLS]

была у меня такая идея:) это считай же актуальные кеи, которые когда то вводили в гугл. а вот раньше я помню были эти кеи с права выдачи гугла, а щас нету их(( только объявления(

[dimok]

Не, ребята, этого я не знаю. когда банит и как.

лимиты позволяют вытаскивать сотни тысяч запросов с одного айпи в сутки. мы тоже экспериментировали с этими кеями раньше, когда там показывалась конкуренция по кею - сейчас особого толку от этих кеев нет

[Mangock]

лимиты позволяют вытаскивать сотни тысяч запросов с одного айпи в сутки. мы тоже экспериментировали с этими кеями раньше, когда там показывалась конкуренция по кею - сейчас особого толку от этих кеев нет

Получается что скрипт легко можно запускать с рабочего компа... А если конкуренцию по выбранным кеям оценивать через другие сервисы ?

[dimok]

Получается что скрипт легко можно запускать с рабочего компа... А если конкуренцию по выбранным кеям оценивать через другие сервисы ?

что значит через другие сервисы? только в выдаче гугла
запускать можно, но с лимитами экспериментировать. я сейчас не парсю саджесты, поэтому не могу сказать, как быстро сейчас банится.

[Mangock]

что значит через другие сервисы? только в выдаче гугла
запускать можно, но с лимитами экспериментировать. я сейчас не парсю саджесты, поэтому не могу сказать, как быстро сейчас банится.

Ну то есть брать кеи и проверять на https://adwords.google.ru/select/KeywordToolExternal. Хотя относительно свежие запросы так не проверить...