Ошибка 80% начинающих веб-мастеров - это неправильно составленный файл robots.txt.
Это приводит к тому, что поисковые системы индексируют сайт неправильно, что значительно влияет на ранжирование сайта в целом.
Представьте, что на сайте нет данного файла. В этом случае поисковые роботы будут индексировать все подряд. Бывает, что из-за этого роботы не индексируют нужный контент.