Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.
По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.
Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.
Подробнее об использовании директив вы можете прочитать в Помощи.
алгоритмы яндекса менятся очень часто вот и новые введения по оформлению. Я вот только не понял что теперь нужно менять чтоб роботс был правильно составлен?
Ох, не спроста яндекс на этот файл глаз положил. Видимо какую-то большую пакость приготовил.
не будет пакостей, просто хотят настроить бота так, чтобы все работало четко и не выплывали ошибки обработки robots.txt. Главное, что они предупредили, в остальном будет виноват вебмастер сам :)
Сообщение от sasha0808
Я вот только не понял что теперь нужно менять чтоб роботс был правильно составлен?
не употреблять сложный конструкций в robots.txt и четко давать понять, что нужно запретить к индексации, а что нет :)