Список ботов от Google

(Ответов: 9, Просмотров: 6500)
  1. Banned
    • Регистрация: 09.09.2009
    • Сообщений: 1,494
    • Репутация: 10
    Сделала вчера фармасплог, зашла сегодня в логи, чтобы посмотреть а был ли Гугл?
    Увидела только одного бота явно от Гугля и список не понятных для меня ботов.
    Озадачившись этим вопросом, я полезла в нет и нарыла из разных источников список Гугловских ботов - может кому-то полезно будет?

    Непосредственно сам Google - сканирует страницы для последующей индексации.
    Mediapartners-Google - вот этого я у себя обнаружила сразу же, так как поставила кнопочку Adsense внизу сплога.
    Googlebot-Image - по названию понятно, что этот бот сканирует картинки на сайте.
    Adsbot-Google - сканирующий робот от Adwords

    А так же:
    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    Googlebot/Test (+http://www.googlebot.com/bot.html)
    gsa-crawler (Enterprise; S4-E9LJ2B82FJJAA; me@mycompany.com)

    Сразу возник такой вопрос: может робот вообще не содержать в своем названии имя google? И как определить из всего списка именно Гугловского робота? Делать по каждому прямой и обратный поиск?


    P.S. Не знала в какой раздел определить, подумала, что вопрос о ботах ПС больше к трафику отнести следует. Сорри, если промахнулась
    Последний раз редактировалось Natalia; 26.09.2009 в 16:57.
    • 0
  2. Senior Member Аватар для mavook
    • Регистрация: 02.09.2009
    • Сообщений: 102
    • Репутация: 10
    ааааааааааааааааааааааааа ааааааааааа
    ко мне пришли боты, вот их список
    # Hits User Agent
    1 77789 52.39% Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    2 18497 12.46% Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
    3 4814 3.24% msnbot/1.1 (+http://search.msn.com/msnbot.htm)
    4 3344 2.25% msnbot/2.0b (+http://search.msn.com/msnbot.htm)
    5 2111 1.42% Googlebot-Image/1.0
    6 1404 0.95% MLBot (www.metadatalabs.com/mlbot)
    7 859 0.58% Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
    8 820 0.55% Mozilla/4.0
    9 768 0.52% Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 GTB5
    10 750 0.51% Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729)
    11 716 0.48% Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 GTB5
    12 703 0.47% Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/530.5 (KHTML, like Gecko) Chrome/2.0.172.43 Safari/530.5
    13 593 0.40% Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.13) Gecko/2009073022 Firefox/3.0.13 (.NET CLR 3.5.30729)
    14 565 0.38% Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729)
    15 555 0.37% Baiduspider+(+http://www.baidu.com/search/spider.htm)
    что они хотят? все незнакомые.........
    мне кажется они воруют мой трафик.
    • 0
  3. Гуру Аватар для mall
    • Регистрация: 08.09.2009
    • Сообщений: 1,981
    • Записей в дневнике: 4
    • Репутация: 193
    вот официальный ответ:

    http://www.google.com/support/webmas...y?answer=80553
    will be back soon
    • 0
  4. Banned
    • Регистрация: 09.09.2009
    • Сообщений: 1,494
    • Репутация: 10
    Цитата Сообщение от mall Посмотреть сообщение
    вот официальный ответ:

    http://www.google.com/support/webmas...y?answer=80553
    ну этот официальный ответ я уже дважды в виде ссылок привела. :)
    Конкретизирую вопрос: существует ли полный список Гуглботов?
    • 0
  5. Гуру Аватар для mall
    • Регистрация: 08.09.2009
    • Сообщений: 1,981
    • Записей в дневнике: 4
    • Репутация: 193
    Конкретизирую вопрос: существует ли полный список Гуглботов?
    нет. IP'шки постоянно разные, т.к. дата центры гугла находяться в разных уголках планеты
    will be back soon
    • 0
  6. Senior Member Аватар для mavook
    • Регистрация: 02.09.2009
    • Сообщений: 102
    • Репутация: 10
    существует тока тебе придется платить бабло за то чтобы получить список всех айпишек акутальный а не месяц назад.
    хочешь гуглобота узнать плати бабос.
    либо свой сервис создавай который сечет какой айпи к какой organization относится.
    • 0
  7. Super Moderator Аватар для grazer
    • Регистрация: 03.09.2009
    • Сообщений: 5,190
    • Записей в дневнике: 83
    • Репутация: 2377
    • Webmoney BL: ?
    Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Это связано с тем, что эти диапазоны IP-адресов могут измениться, что создаст проблемы для веб-мастеров, которые установили к ним жесткую привязку. Наилучший способ идентифицировать доступ робота Googlebot - с помощью агента user-agent (Googlebot).
    Это был оффициальный ответ. А в гугле-то не договаривают... Говорят что списки не выкладывают для веб-мастеров, потому что как бы за них беспокоятся, а на самом деле знают, что если выложат, то клоакинг еще более будет распространен и его будет сложнее обнаружить.
    Через тернии... ну вы поняли :)
    • 0
  8. Я из admitad :) Аватар для terehoff
    • Регистрация: 15.07.2009
    • Сообщений: 2,605
    • Записей в дневнике: 18
    • Репутация: 1150
    • Webmoney BL: ?
    В общем шифруются и держат в секрете список ИП, постоянно меняют еще :), и правильно делают :),
    • 0
  9. Banned
    • Регистрация: 01.10.2009
    • Сообщений: 4
    • Репутация: 10
    У моего провайдера постоянно плавающий ип.
    • 0
  10. Опытный Аватар для Sunny
    • Регистрация: 03.09.2009
    • Сообщений: 297
    • Репутация: 39
    Тема не про что вообще. Переношу в новички.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
какой процент ботов с trafficholder.com
Адалт и дейтинг 9 12.09.2011 13:00
Использование ботов
Гемблинг 11 20.06.2010 22:36
Как отслеживать ботов/чит на PPC-трафике?
PPC и контекстная реклама 19 15.12.2009 17:37
Как вы палите ботов?
Вопросы от новичков 17 09.09.2009 14:49
IP ботов гугла
Партнерские программы 17 06.09.2009 02:21

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры