"Яндекс" больше не воспринимает директиву allow слишком буквально

Представители "Яндекс.Поиска" рассказали об исправлении старой проблемы, связанной с анализом файла robots.txt. С настоящего времени "Яндекс" больше не будет воспринимать директиву Allow без аргументов буквально - такая строка будет проигнорирована как ошибка. Ранее пустой аргумент принимался во внимание, говоря поисковику, что ему разрешено сканировать 0 страниц ресурса.


Эта ошибка существовала довольно долго, и некоторые вебмастеры могли даже использовать её для тестов. Теперь же запретить индексирование может только стандартная директива Disallow.

"Яндекс.Вебмастер" позволяет просмотреть список разрешенных и запрещенных к индексации страниц из robots.txt. В сети можно найти немало анализаторов, выполняющих аналогичную функцию.

Корректность robots.txt защищает сайт от слишком углубленного сканирования и появления в выдаче скрытых файлов. О том, как поддерживать здоровый список разрешенных и запрещенных адресов, рассказано в помощи "Яндекса".