Яндекс меняет порядок обработки директивы Allow в файле robots.txt

lis-enka Опубликовано 27.09.2011 14:35

В блоге Яндекс.Поиска появилось сообщение об изменениях в правилах обработки директивы Allow текстового файла robots.txt. Как известно, функция данной директивы – разрешать доступ роботам поисковика к определенным разделам сайта или ко всему сайту.

По сообщению Яндекса, до сих пор данную директиву следовало использовать с учетом порядка. То есть, если для какой-либо страницы сайта прописано несколько директив, то выбиралась первая в порядке появления в выбранном User-agent блоке. В первом случае (см. скриншоты ниже) сначала указана директива Allow, поэтому именно она выполняется. Во втором случае все наоборот.

Теперь же Яндекс заявил, что на уровне обработки поисковым роботом директивы allow в ближайшее время порядок следования директивы больше не будет учитываться.

«Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит нам соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем», - заявляют представители Яндекса.