Почему не индексируется сайт

Хотелось бы поставить точку в этом вопросе, расписав все возможные причины того, почему сайт не индексируется. Естественно, это статья для новичков, надо же и для них иногда что-то писать. :)

Предположим, вы разработали сайт, наполнили его контентом, добавили в аддурилки Яндексl и Google и стали ждать индексации. Тем не менее, когда, через несколько недель, вы решили проверить индексацию сайта, вы заметили, что проиндексировано только несколько страниц или сайт вообще не проиндексирован. Кстати сказать, проверить индексацию сайта можно с помощью оператора «site:», работает как в google так и в яндексе:

Код:

site:webmasters.ru

Либо с помощью сервиса индексация сайтов нашего портала.

Основные причины, по которым сайт может не индексироваться:

• Flash и Java ссылки
• Запрет в Robots.txt
• Слишком большое количество ссылок на странице
• Бан сайта поисковыми системами
• Запрет в мета-тегах
• Вход на страницы через заполнение форм
• Неуникальный контент

Flash и Java ссылки

Хотя поисковые системы уже кое-как индексируют флеш-сайты и java script ссылки, все равно с этим могут быть определенные проблемы. Нужно стараться использовать html, а не flash и java script. Но если у вас сайт построен на flash и переходить на html вы не собираетесь, то советую почитать отличную статью оптимизация flash сайтов, это вам очень пригодится.

Запрет в Robots.txt

Файл Robots.txt находится по следующему адресу:

Код:

Site.ru/robots.txt

и содержит указания для поисковых систем. В нем может стоять запрет на индексацию определенных страниц или целого сайта. Если вы хотите, чтобы сайт был полностью открыт для поисковых систем (не рекомендуется, советую ознакомится со статьей, в которой вы сможет изучить более детальные настройки файла robots.txt). Если в вашем файле robots.txt прописаны следующие строки:

Код:

User-agent: * 
 Disallow: /

то он закрыт для индексации поисковым системам. Чтобы открыть сайт для индексации нужно удалить строку Disallow: /.

Слишком большое количество ссылок на странице

Если на странице содержится 40-80-200 внешних ссылок, то это определенно проблема. Как и для восприятия пользователями, так и для индексации страницы. Такие страницы называют линкопомойками, а поисковые системы их очень не любят, так как это явный признак того, что вы спамер. Страница может не только не войти в индекс, ваш сайт вообще могут из него исключить.

Бан домена поисковыми системами

Довольно распространенная причина неиндексации сайта. Казалось бы, почему бы не зарегистрировать освободившийся домен с хорошими показателями ТИЦ и PR, с большим количество входящих ссылок, а, следовательно, и трастом? Будьте аккуратны, так как такие домены, могут быть в бане. Потом вам придется писать в сапорт яндекса и гугла и слезно просить разбанить сайт, объяснять, что вы не были раньше его владельцем и т.д. и не факт, что его разбанят. К примеру, я до сих пор не могу вывести один домен из-под АГС, хотя на этом домене сайт с уникальным контентом. Менее рискованно зарегистрировать свежий домен.

Запрет в мета-тегах

Если не индексируются какие-то конкретные страницы сайта, то есть смысл проверить запрет на индексацию их в мета-теге Robots, который служит для управления индексации конкретных web-страницы. Выглядит он вот так:

Код:

<meta name="Robots" content="...">

и может иметь следующие атрибуты:

• NOINDEX - запрещает индексирование документа;
• NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
• INDEX - разрешает индексирование документа;
• FOLLOW - разрешает проход по ссылкам.
• ALL - равносильно INDEX, FOLLOW
• NONE - равносильно NOINDEX, NOFOLLOW

Ежу понятно, что если прописано

Код:

<meta name="Robots" content="noindex, nofollow">

Или

Код:

<meta name="Robots" content="none">

Либо просто

Код:

<meta name="Robots" content=" noindex ">

то страница запрещена к индексации.

Вход на страницы через заполнение форм

Если доступ к каким-то страницам сайта возможен только после заполнения определенной формы, либо только по паролю, то поисковые системы не смогут их проиндексировать, так как не будут знать, что им нужно ввести в форму. Делайте доступ по паролю только для эксклюзивной информации.

Неуникальный контент

Если вы создали сайт и наполняете его неуникальным контентом, т.е. просто копируете его с других сайтов, то ничего удивительно в этом нет, что ваш сайт не индексируется. Поисковые системы любят уникальный контент. Зачем включать в поисковую базу статью или новость, которая уже есть на десятках сайтов? Поэтому, настоятельно рекомендую наполнять ваши сайты только качественными и уникальными материалами, которые были бы полезны и пользователям и нравились поисковым систамам. :)

Несколько десятков бесплатных способов ускорения индексации http://moipost.ru/blog/kak_besplatno.../2009-09-13-42 я перечислил в своем основном блоге – кому интересно, тот прочтет.

Знаете ли вы еще какие-то причины, из-за которых сайт может не индексироваться?