[grazer]

Часто бывает такое, что ваш самый популярный сайт не индексируется. Причин может быть много, нужно разбираться в чем проблема по порядку. Для начала убеждаемся, что сайта нет в индексе на самом деле. В гугле можно проверить оператором:

allinurl: drugrevenue.com/ site:drugrevenue.com

Или можно воспользоваться сервисами, например http://xseo.in/.

Итак, причины, по которым сайт не индексируется.

1. Все виды черного сео, например скрытый текст, скрытые ссылки, клоакинг, дорвеи и прочее. Если вы что-то из этого использовали, то не удивляйтесь, что сайта нет в индексе.

2. Спам. За это тоже сайты баняться и выпадают из индекса, если сайт слишком молодой. Для старых сайтов это не так страшно, но попасть под фильтр тоже можно. И пусть говорят, что за внешние факторы сайт не банится. Банится.

3. Копипаст. Сам не раз на своих сайтах встречался с такой ситуацией, когда копипастишь материалы, вроде бы все нормально, трафик идет, а потом сайт полностью вылетает из индекса. Бывало такое, что не сайт вылетает, а раздел с копипастом. Так что пишите/заказывайте уникальные материалы.

4. Динамические URL. Есть плтаформы, в которых ссылки динамические, т.е. изменяются со временем. Обычно они длинные и имеют кучу каких-то параметров. Из-за таких ссылок могут быть проблемы с индексацией. Избегайте таких платформ.

5. Проблема в мета-тегах. Проверьте, чтобы не было мета-тега на страницах:
<META NAME="robots" content="NOINDEX, NOFOLLOW" />
Он запрещает индексировать страницу.

6. Robots.txt. Проверьте, чтобы в robots.txt также сайт не был запрещен к индексированию. Запрещайте к индексации только страницы, не представляющие особого интереса ПС: страница регистрации, входа, профили пользователей и т.д.

7. JavaScript-редирект. На всякий случай, лучше его не использовать, хотя все и говорят, что ПС уже научились переходит по JavaScript ссылкам.

8. Плохой html-код. Избавьте код от лишнего мусора, оставьте все только самое нужное, исправьте ошибки, пройдите валидацию. Часто из-за этого тоже могут возникнуть проблемы с индексацией.

9. Обратных ссылок слишком мало - очень распространённая ошибка. И не обязательно сайт должен проиндексироваться в тот же день (или на следующий) после закупки обратных ссылок на сайт.

10. Старый домен, который вы купили ушёл в бан ещё у предыдущего владельца, а вы об этом не знаете. Поэтому может не индексироваться сайт.

11. Если пользуетесь фрихостингом - есть небольшая вероятность, что, дело в нём. И проблемы могут быть не только у фрихостинга, у платного тоже. Уточняйте у сапорта.

Вроде бы вот и все основные причины, почему не индексируется сайт.

[karbid]

5. Проблема в мета-тегах. Проверьте, чтобы не было мета-тега на страницах:
<META NAME="robots" content="NOINDEX, NOFOLLOW" />
Он запрещает индексировать страницу.

Насколько я понимаю, запрет на индексацию в данном случае действует только для Яндекса. Гугл же просто считает все ссылки на странице NOFOLLOW.

Интересно почитать: как скрыть ссылки.

[LEO]

4. Динамические URL. Есть плтаформы, в которых ссылки динамические, т.е. изменяются со временем. Обычно они длинные и имеют кучу каких-то параметров. Из-за таких ссылок могут быть проблемы с индексацией. Избегайте таких платформ.

сюда же не относятся урлы с сессией?

[Dr.Gonzo]

Ты ещё забыл как минимум 4 пункта:

10. Ссылок слишком мало. - очень распространённая ошибка.
11. Отсутствие терпения, т.е. если ссылочная база слабая - не нужно ждать индексации прямо на следующий день, возможно прийдётся подождать неделю-другую.
12. Домен, который вы регнули - ушёл в бан ещё у предыдущего владельца, а вы об этом не знаете.
13. Если это фрихостинг - есть небольшая вероятность, что, дело в нём.

ИМХО пункты 3,4 8 и 9 - минимально влияют на индексацию.

PS всё применительно к гуглу.

[grazer]

сюда же не относятся урлы с сессией?

Из-за них также могут быть проблемы.

11. Отсутствие терпения, т.е. если ссылочная база слабая - не нужно ждать индексации прямо на следующий день, возможно прийдётся подождать неделю-другую.

Ну не совсем это уже нормально, когда индексиации приходится ждать несколько недель. Достаточно купить 1 ссылку с морды какого-либо нормального СЛД, чтобы ваш сайт быстренько проиндексировался, говорю по собственному опыту.

[dimok]

4. Динамические URL

сейчас у поисковиков нет с этим проблем, хотя они все же рекомендуют статику использовать.

7. JavaScript-редирект.

не встречал сайты, для которых это было бы проблемой. даже если редирект сразу на морде - все равно все индексится. бан дают за говноконтент обычно...

9. Заезженный шаблон.

что за глупости? сделай нулевой форум на пхпББ и он нормально будет индекситься. никаких проблем...

[grazer]

что за глупости? сделай нулевой форум на пхпББ и он нормально будет индекситься. никаких проблем...

Насколько я знаю, раньше с каким-то форумным двжиком (уже правда запамятовал с каким) были крупные проблемы с индексацией, толи из-за шаблона, толи из-за движка, толи из-за динамических урл. Хотя я тут вынужден согласиться, пункт получился не совсем правильным, удаляю из статьи.

[dimok]

Насколько я знаю, раньше с каким-то форумным двжиком (уже правда запамятовал с каким) были крупные проблемы с индексацией, толи из-за шаблона, толи из-за движка, толи из-за динамических урл.

скорее из-за того, что раньше они не могли грамотно скрывать айдишники сессий (в урлах передавали) - это давало слишком много дублированных страниц.

я понимаю, что ты видимо пересказал какую-то старую статейку... учитывай современное положение дел

[LEO]

сейчас у поисковиков нет с этим проблем, хотя они все же рекомендуют статику использовать.

ТС имеет ввиду другое...
когда например страница с данной темой сегодня имеет адрес /showthread.php?p=64125 а завтра /showthread.php?p=10000000000

[grazer]

я понимаю, что ты видимо пересказал какую-то старую статейку... учитывай современное положение дел

Нет, нет :) Как раз таки информация современная, я же не копипасил откуда-то, писал в ворде все, что вспомнилось. А имел я ввиду то, что правильно подметил LEO:

когда например страница с данной темой сегодня имеет адрес /showthread.php?p=64125 а завтра /showthread.php?p=10000000000

Кстати, вот еще вспомнил еще одну причину. Иногда на хостинге (в т.ч. и платном), запрещают доступ ПС роботу к сайту из-за большого количества запросов. Даже сейчас это встречается, проблема решается письмом сапорту.