Бот Mail.ru досит сайт

(Ответов: 9, Просмотров: 2493)
  1. Новичок
    • Регистрация: 18.02.2012
    • Сообщений: 23
    • Репутация: 7
    Бот Mail.ru (Mail.RU_Bot/Fast/2.0) по 10-15 раз в минуту читает старые файлы sitemap, новые не читает, и любые другие страницы сайта не читает. Саппорт их молчит.
    Такая ерунда с 19 августа творится. Хостинг видимо блокирует часть запросов от Mail.ru , потому что в их панели Вебмастера указано что часть запросов к моему сайту нормальные, а часть Err. Что такое Err - не понятно.

    Выставил в robots.txt:
    crawl-delay: 60
    Что бы чаще чем 1 раз в минуту не ходил, а их бот и robots.txt не читает, как в агонии долбит старый sitemap за прошлые года и даже за 7 месяц читает, а за этот месяц не читает.

    Вообщем кто что может подсказать как быть с Mail.ru ?
    • 0
  2. Новичок
    • Регистрация: 18.02.2012
    • Сообщений: 23
    • Репутация: 7
    попробовал изменить статью, что бы изменился параметр lastmod, после чего mail бот перечитал в течении часа этот файл sitemap, но после перечтения Мэйл бот не пошел ни на измененную страницу, ни в robots.txt
    Как будто бот Мэйла в цикле читает карту и ничего с ней не делает.
    • 0
  3. Super Moderator Аватар для grazer
    • Регистрация: 03.09.2009
    • Сообщений: 5,190
    • Записей в дневнике: 83
    • Репутация: 2377
    • Webmoney BL: ?
    Удалите старый сайтмап. :)
    Через тернии... ну вы поняли :)
    • 0
  4. Новичок
    • Регистрация: 18.02.2012
    • Сообщений: 23
    • Репутация: 7
    если бы ходил один mail я бы смог так поэксперементировать, однако это не так
    • 0
  5. Новичок
    • Регистрация: 18.02.2012
    • Сообщений: 23
    • Репутация: 7
    Нажмите на изображение для увеличения.  Название:	err2.jpg  Просмотров:	16  Размер:	40.5 Кб  ID:	18634

    Что за Err в Вебмастере Мэйла ?
    Нигде не нашел ответа, но это связано с тем как Mail бот начал долбить sitemap

    по accesslog никаких ошибок вообще нет, везде 200 ответ
    • 0
  6. Студент Аватар для Totenkopf
    • Регистрация: 29.06.2015
    • Сообщений: 92
    • Репутация: 6
    • Webmoney BL: ?
    А в ТП майла написать не пробовали и спросить причину и устранение?
    • 0
  7. Опытный Аватар для Laker
    • Регистрация: 20.06.2009
    • Сообщений: 308
    • Репутация: 66
    • Webmoney BL: ?
    Та же проблема. И это только на 2 сайтах. На остальных все нормально. ТП хостинга сказала, что это действительно бот Mail.ru. У меня также показывает около 2000 запросов в день от этого бота для каждого сайта. Что с ним делать даже не представляю.
    • 0
  8. Дипломник Аватар для Viktor-div
    • Регистрация: 23.09.2014
    • Сообщений: 183
    • Репутация: 78
    Заблокируйте этого бота по IP, да и всё. Толку от поисковика Mail.ru всё равно крохи.
    translit-online.ru - правильный транслит для Яндекса онлайн
    • 0
  9. Студент
    • Регистрация: 21.11.2014
    • Сообщений: 52
    • Репутация: 10
    Проблема может быть и в хостинге. Я сначала сидел на Jino. Поначалу было все ровно, но когда сайт разросся, начал ложиться при обходе любым поисковиком. Правил robot.txt и для гугла настройки менял, но без толку. Поддержка Jino порекомендовала только перейти на премиум аккаунт. Тогда они выделяют под сайт больше ресурсов, но у них там цены неадекватные.

    В итоге тупо переехал на Beget (рефка) и проблема решилась.
    • 0
  10. SEO эксперт Аватар для VadimPRO
    • Регистрация: 09.06.2011
    • Сообщений: 2,087
    • Репутация: 452
    • Webmoney BL: ?
    У меня такая же фигня была, неделю мучался не мог понять в чем дело, потом оказалось, что это на заброшенном сайте и просто снес его)
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Помогите роботу mail.ru найти мой сайт!
Mail.ru Рамблер... 20 15.04.2014 22:28
Не могу добавить сайт в webmaster.mail.ru
Mail.ru Рамблер... 1 01.03.2014 01:20
Сайт не индексируется Mail.ru и отсутствует в его поиске
Mail.ru Рамблер... 10 12.11.2013 03:30
Нужно прогнать сайт по социалкам (fb, твиттер, контакт, я.ру, google+, mail...)
Услуги по SMM, SMO 0 19.07.2013 16:50
Как продвигать сайт в поиске от mail.ru?
Поисковые системы 13 15.04.2012 19:28

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры