После того, как в поиске Яндекса стали проскакивать СМСки и другие документы, которым не следовало бы появляться в серпе, но в то же время данные документы не были закрыты от индексации через robots.txt, в интернете появилось видео , которое на пальцах рассказывает о том как правильно пользоваться robots.txt того, чтобы приватные документы не попали в выдачу.


http://video.yandex.ru/users/yacinema/view/93


В ходе дискуссий, развернутых в комментариях к данному видео было много предположений и высказываний, что робот все равно проходит по страницам, запрещенным к индексации, индексирует, но не показывает в поиске.

Это еще одна причина того, что в Яндексе произошел сбой и проиндексированные и "запрещенные" к показу в выдаче документы и страницы по ошибке оказались в серпе.

Напомним, что представители Яндекса категорически отрицают возможность сбоя и говорят о том, что на момент индексации роботом страниц файла robots.txt не было обнаружено.