Краулеры Google научились работать с CSS и Javascript

В руководстве для вебмастеров Google опубликовали новость о переходе краулеров поисковика на более современную основу. Теперь роботы смогут воспринимать страницу целиком, включая Javascript-сценарии и CSS, вложенные в неё. Ранее они работали только с текстовой версией страницы, что приводило к проблемам с индексацией контента, если он подгружался при помощи JS.



Теперь вебмастерам придется открыть роботам доступ к .js и .css файлам сайта, иначе страница будет загружаться некорректно. Проблемы с отображением страницы роботу могут привести к "проседанию" позиций страницы в выдаче.

О том, что от роботов не стоит закрывать сервисные файлы сайта, эксперты говорили давно. Тем не менее, некоторые ресурсы пытались таким образом снизить нагрузку на сервера - активные краулеры могли серьезно замедлить работу.

С мая этого года Google добавил в Webmaster Tools опцию "просмотреть страницу как Googlebot", при помощи которой вебмастер может увидеть свой сайт глазами робота. Если вы неуверенны в том, что ваш сайт открыт для краулеров, воспользуйтесь этим функционалом.