[Natalia]

Сделала вчера фармасплог, зашла сегодня в логи, чтобы посмотреть а был ли Гугл?
Увидела только одного бота явно от Гугля и список не понятных для меня ботов.
Озадачившись этим вопросом, я полезла в нет и нарыла из разных источников список Гугловских ботов - может кому-то полезно будет?

Непосредственно сам Google - сканирует страницы для последующей индексации.
Mediapartners-Google - вот этого я у себя обнаружила сразу же, так как поставила кнопочку Adsense внизу сплога.
Googlebot-Image - по названию понятно, что этот бот сканирует картинки на сайте.
Adsbot-Google - сканирующий робот от Adwords

А так же:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/Test (+http://www.googlebot.com/bot.html)
gsa-crawler (Enterprise; S4-E9LJ2B82FJJAA; me@mycompany.com)

Сразу возник такой вопрос: может робот вообще не содержать в своем названии имя google? И как определить из всего списка именно Гугловского робота? Делать по каждому прямой и обратный поиск?


P.S. Не знала в какой раздел определить, подумала, что вопрос о ботах ПС больше к трафику отнести следует. Сорри, если промахнулась

[mavook]

ааааааааааааааааааааааааа ааааааааааа
ко мне пришли боты, вот их список
# Hits User Agent
1 77789 52.39% Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
2 18497 12.46% Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
3 4814 3.24% msnbot/1.1 (+http://search.msn.com/msnbot.htm)
4 3344 2.25% msnbot/2.0b (+http://search.msn.com/msnbot.htm)
5 2111 1.42% Googlebot-Image/1.0
6 1404 0.95% MLBot (www.metadatalabs.com/mlbot)
7 859 0.58% Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
8 820 0.55% Mozilla/4.0
9 768 0.52% Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 GTB5
10 750 0.51% Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729)
11 716 0.48% Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 GTB5
12 703 0.47% Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/530.5 (KHTML, like Gecko) Chrome/2.0.172.43 Safari/530.5
13 593 0.40% Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.13) Gecko/2009073022 Firefox/3.0.13 (.NET CLR 3.5.30729)
14 565 0.38% Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729)
15 555 0.37% Baiduspider+(+http://www.baidu.com/search/spider.htm)
что они хотят? все незнакомые.........
мне кажется они воруют мой трафик.

[mall]

вот официальный ответ:

http://www.google.com/support/webmas...y?answer=80553

[Natalia]

вот официальный ответ:

http://www.google.com/support/webmas...y?answer=80553

ну этот официальный ответ я уже дважды в виде ссылок привела. :)
Конкретизирую вопрос: существует ли полный список Гуглботов?

[mall]

Конкретизирую вопрос: существует ли полный список Гуглботов?

нет. IP'шки постоянно разные, т.к. дата центры гугла находяться в разных уголках планеты

[mavook]

существует тока тебе придется платить бабло за то чтобы получить список всех айпишек акутальный а не месяц назад.
хочешь гуглобота узнать плати бабос.
либо свой сервис создавай который сечет какой айпи к какой organization относится.

[grazer]

Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Это связано с тем, что эти диапазоны IP-адресов могут измениться, что создаст проблемы для веб-мастеров, которые установили к ним жесткую привязку. Наилучший способ идентифицировать доступ робота Googlebot - с помощью агента user-agent (Googlebot).

Это был оффициальный ответ. А в гугле-то не договаривают... Говорят что списки не выкладывают для веб-мастеров, потому что как бы за них беспокоятся, а на самом деле знают, что если выложат, то клоакинг еще более будет распространен и его будет сложнее обнаружить.

[terehoff]

В общем шифруются и держат в секрете список ИП, постоянно меняют еще :), и правильно делают :),

[Gambino]

У моего провайдера постоянно плавающий ип.

[Sunny]

Тема не про что вообще. Переношу в новички.