Когда страница заблокирована для обхода GoogleBot’ом, но при этом все равно отображается в выдаче Google, потому что на нее ведут ссылки с других сайтов или страниц, обычно такой результат в SERP выглядит довольно нелепо: поисковик не может составить заголовок и описание (сниппет) страницы. Раньше в таких случаях Google пытался сам «угадать» наиболее подходящий заголовок страницы, а сниппет зачастую оставлял пустым.

Теперь же вместо пустого сниппета Google стал показывать сообщение о том, почему не может вывести сниппет нормальный.



В этом сообщении говорится:

Описание (description) для этого результата недоступно из-за файла robots.txt данного сайта – узнать подробнее.
По ссылке «Узнать подробнее» пользователь переходит на документ из справочного раздела Google, в котором рассказано о Блокировке и удалении страниц с помощью файла robots.txt.

Таким образом, Google не только помогает пользователям понять, что не так с данной страницей, но и подсказывает вебмастеру о возможной проблеме на его сайте.