Столкнулся с такой проблемой: не индексируется главная страница в Яндекс. Захожу в Яндекс. Вебмастер и вижу надпись: Ваш сайт не индексируется и не участвует в результатах поиска из-за запрета в файле robots.tx
Картина следующая:
ТИЦ меньше 10 Страниц в поиске 0 Внешних ссылок на страницы сайта 276 Дата последнего посещения сайта роботом 17.10.2011 Загружено роботом 30 Исключено роботом 1
Помогите, пожалуйста. Не знаю, что делать.
---------- Сообщение добавлено 12:14 ---------- Предыдущее 12:14 ----------
Хотя недавно все было нормально и все страницы индексировались.
соглашусь с оратором выше. но все таки хотелось бы увидеть сайт в личке... помимо того, что написал яндекс можно посмотреть и отчет (что именно не понравилось боту - какие ошибки он нашел ) если вы не правили роботс, то значит какая то ошибка не понравилась роботу.
Хотел посоветовать временно просто удалить роботс.тхт но некоторые СМС прописывают там много своего. так что ТС вариантов мало. Как и сказали выше нужно смотреть именно сам файл.
Разобрался уже. Из-за смены шаблона это произошло (была проделана адаптация). Через неделю должен снова индексироваться. Всем спасибо за советы. Прошу закрыть тему.
dmg.shark, поддерживаю, стандартного robots.txt и не существует, потому как у каждого сайта своя структура и этот файл будет различаться - здесь нет стандартов
Как роботс может быть стандартным? Это применимо было бы если существовала одна единственная CMS с абсолютно единой структурой сайта. Где вы вообще услышали такой термин?