Бот Mail.ru досит сайт

[jkeks]

Бот Mail.ru (Mail.RU_Bot/Fast/2.0) по 10-15 раз в минуту читает старые файлы sitemap, новые не читает, и любые другие страницы сайта не читает. Саппорт их молчит.
Такая ерунда с 19 августа творится. Хостинг видимо блокирует часть запросов от Mail.ru , потому что в их панели Вебмастера указано что часть запросов к моему сайту нормальные, а часть Err. Что такое Err - не понятно.

Выставил в robots.txt:
crawl-delay: 60
Что бы чаще чем 1 раз в минуту не ходил, а их бот и robots.txt не читает, как в агонии долбит старый sitemap за прошлые года и даже за 7 месяц читает, а за этот месяц не читает.

Вообщем кто что может подсказать как быть с Mail.ru ?

[jkeks]

попробовал изменить статью, что бы изменился параметр lastmod, после чего mail бот перечитал в течении часа этот файл sitemap, но после перечтения Мэйл бот не пошел ни на измененную страницу, ни в robots.txt
Как будто бот Мэйла в цикле читает карту и ничего с ней не делает.

[grazer]

Удалите старый сайтмап. :)

[jkeks]

если бы ходил один mail я бы смог так поэксперементировать, однако это не так

[jkeks]

Что за Err в Вебмастере Мэйла ?
Нигде не нашел ответа, но это связано с тем как Mail бот начал долбить sitemap

по accesslog никаких ошибок вообще нет, везде 200 ответ

[Totenkopf]

А в ТП майла написать не пробовали и спросить причину и устранение?

[Laker]

Та же проблема. И это только на 2 сайтах. На остальных все нормально. ТП хостинга сказала, что это действительно бот Mail.ru. У меня также показывает около 2000 запросов в день от этого бота для каждого сайта. Что с ним делать даже не представляю.

[Viktor-div]

Заблокируйте этого бота по IP, да и всё. Толку от поисковика Mail.ru всё равно крохи.

[PItCher]

Проблема может быть и в хостинге. Я сначала сидел на Jino. Поначалу было все ровно, но когда сайт разросся, начал ложиться при обходе любым поисковиком. Правил robot.txt и для гугла настройки менял, но без толку. Поддержка Jino порекомендовала только перейти на премиум аккаунт. Тогда они выделяют под сайт больше ресурсов, но у них там цены неадекватные.

В итоге тупо переехал на Beget (рефка) и проблема решилась.

[VadimPRO]

У меня такая же фигня была, неделю мучался не мог понять в чем дело, потом оказалось, что это на заброшенном сайте и просто снес его)