Бот Mail.ru (Mail.RU_Bot/Fast/2.0) по 10-15 раз в минуту читает старые файлы sitemap, новые не читает, и любые другие страницы сайта не читает. Саппорт их молчит.
Такая ерунда с 19 августа творится. Хостинг видимо блокирует часть запросов от Mail.ru , потому что в их панели Вебмастера указано что часть запросов к моему сайту нормальные, а часть Err. Что такое Err - не понятно.
Выставил в robots.txt:
crawl-delay: 60
Что бы чаще чем 1 раз в минуту не ходил, а их бот и robots.txt не читает, как в агонии долбит старый sitemap за прошлые года и даже за 7 месяц читает, а за этот месяц не читает.
Вообщем кто что может подсказать как быть с Mail.ru ?
- 05.09.2015 22:20Новичок
- Регистрация: 18.02.2012
- Сообщений: 23
- Репутация: 7
- 0
- 06.09.2015 11:36Новичок
- Регистрация: 18.02.2012
- Сообщений: 23
- Репутация: 7
попробовал изменить статью, что бы изменился параметр lastmod, после чего mail бот перечитал в течении часа этот файл sitemap, но после перечтения Мэйл бот не пошел ни на измененную страницу, ни в robots.txt
Как будто бот Мэйла в цикле читает карту и ничего с ней не делает.- 0
06.09.2015 12:12Удалите старый сайтмап. :)
- 0
- 06.09.2015 12:23Новичок
- Регистрация: 18.02.2012
- Сообщений: 23
- Репутация: 7
если бы ходил один mail я бы смог так поэксперементировать, однако это не так
- 0
- 06.09.2015 12:29Новичок
- Регистрация: 18.02.2012
- Сообщений: 23
- Репутация: 7
Что за Err в Вебмастере Мэйла ?
Нигде не нашел ответа, но это связано с тем как Mail бот начал долбить sitemap
по accesslog никаких ошибок вообще нет, везде 200 ответ- 0
- 13.09.2015 18:00
А в ТП майла написать не пробовали и спросить причину и устранение?
- 0
- 15.10.2015 22:40
Та же проблема. И это только на 2 сайтах. На остальных все нормально. ТП хостинга сказала, что это действительно бот Mail.ru. У меня также показывает около 2000 запросов в день от этого бота для каждого сайта. Что с ним делать даже не представляю.
- 0
- 16.10.2015 08:39Дипломник
- Регистрация: 23.09.2014
- Сообщений: 183
- Репутация: 78
Заблокируйте этого бота по IP, да и всё. Толку от поисковика Mail.ru всё равно крохи.
- 0
- 16.10.2015 11:21Студент
- Регистрация: 21.11.2014
- Сообщений: 52
- Репутация: 10
Проблема может быть и в хостинге. Я сначала сидел на Jino. Поначалу было все ровно, но когда сайт разросся, начал ложиться при обходе любым поисковиком. Правил robot.txt и для гугла настройки менял, но без толку. Поддержка Jino порекомендовала только перейти на премиум аккаунт. Тогда они выделяют под сайт больше ресурсов, но у них там цены неадекватные.
В итоге тупо переехал на Beget (рефка) и проблема решилась.- 0
- 16.10.2015 12:11
У меня такая же фигня была, неделю мучался не мог понять в чем дело, потом оказалось, что это на заброшенном сайте и просто снес его)
- 0
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Помогите роботу mail.ru найти мой сайт! | Mail.ru Рамблер... | 20 | 15.04.2014 22:28 |
Не могу добавить сайт в webmaster.mail.ru | Mail.ru Рамблер... | 1 | 01.03.2014 01:20 |
Сайт не индексируется Mail.ru и отсутствует в его поиске | Mail.ru Рамблер... | 10 | 12.11.2013 03:30 |
Нужно прогнать сайт по социалкам (fb, твиттер, контакт, я.ру, google+, mail...) | Услуги по SMM, SMO | 0 | 19.07.2013 16:50 |
Как продвигать сайт в поиске от mail.ru? | Поисковые системы | 13 | 15.04.2012 19:28 |
addurl adsense cpa html proxy radikal wordpress yandex yandex.ru youtube zennoposter аккаунт баннер блог быть вконтакт год гугл деть добавить думать есть кейс ключ конечный контент магазин место может накрутка нужный отзыв оффера парсер партнёрка партнёрская программа первый программа продажа продвижение прокси просто работа работать регистрация рубль сайт сделать сервис скрипт сообщение софт ссылка стать страница трафик хороший хостинг цена яндекс
Тем:
77,580Сообщений:
762,972Пользователей:
30,080Сейчас на сайте:
0 пользователей и 132 гостей
