Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.
Чтобы устранить проблему, выполните следующие действия: 1 Определите заблокированные ресурсы
Используйте эту функцию, чтобы узнать, какие ресурсы заблокированы в файле robots.txt. Просмотреть как Googlebot
2 Обновите файл robots.txt
Откройте доступ к коду JavaScript и файлам CSS в файле robots.txt и проверьте его с помощью инструмента на странице https://www.google.com/webmasters/to...ing-tool?hl=ru. После этого обновите файл на сайте и отправьте его в Search Console. Проверить файл robots.txt 3 Убедитесь, что проблема устранена
Просканируйте сайт, выбрав параметр "Mobile: smartphone", чтобы убедиться, смогут ли смартфоны корректно обрабатывать контент.
---------- роботс как был так есть кому нить приходило такое ?
В robots.txt нужно открыть доступ для роботов к скриптам и стилям сайта, то есть для WordPress нужно открыть доступ к папке с шаблонами сайта, лишние шаблоны можно удалить, но, как я понимаю, роботу нужны только используемые скрипты и стили для правильного отображения сайта. В robots.txt нужно удалить строку (для WordPress):
Фигня все это. Тупо глюк. Мне тоже по почти всем WP-сайтам прислали такое уведомление, мол не может корректно сканировать.
Но стоит напомнить, что файл robots.txt - это лишь файл с рекомендациями поисковым системам, как их паукам гулять по ним. Т.е. им, если разобраться, глубоко пофиг на данный файл и все они прекрасно видят.
Но стоит напомнить, что файл robots.txt - это лишь файл с рекомендациями поисковым системам, как их паукам гулять по ним
Не рекомендациями, а инструкциями. Очень большая разница. К тому же гугл соблюдает эти инструкции и может индексировать закрытые в роботс файлы или страницы только если на них есть активные ссылки в ПС. Поэтому и идёт запрос для тех у кого блоги и сайты на WP, там по умолчанию закрыт доступ к файлам стилей и js.
Инструкции, описанные в данном документе(robots.txt), выполняются всеми автоматическими поисковыми роботами Google. Эти инструкции не имеют силы в тех случаях, когда агент осуществляет доступ к URL от имени пользователя (для перевода, при обработке отправленных вручную фидов, при анализе вредоносного ПО и т. д.).
Вот под это "и т.д." попадает то, про что говорил выше. А раз так, то никакая это не инструкция, а рекомендация. Сайты и/или отдельные платные разделы с пиратским контентом и/или приватным доступом каким-то "чудом" оказываются обнаруженными даже тогда, когда о них знают только так называемые "свои люди". Т.е. поисковику запрещено их индексировать, а он все-таки вносит в свой "реестр".
Инструкция в моём понимании представляет собой жесткое указание: сюда - можно, а сюда - нельзя. В случае с рекомендацией - поисковик как бы сам определяет, куда можно.