[skryptman]

Некоторое время назад добавил в сапу сайты, в индексе к примеру страниц 400-500, а сама сапа находит только 100-200. Скажите в чем может быть проблема и как её решить?

[OKyJIucT]

У меня такое тоже было, из за кривой структуры самого меню. Ссылки на разделы повыводите на главной, чтобы было от чего роботу плясать :)
К примеру, можно повыводить разделы и подразделы сайта в меню. Тогда вглубь сайта будет больше переходов робота по ним.
Этот способ позволил мне увеличить количество страниц в Сапе с 300 до 2 тысяч :)

Рекомендации Сапы

Возможные следующие причины НЕиндексации страниц 2-го и 3-го уровня.
- Некорректно размещен код системы. См. раздел Проверка корректного размещения кода.
- Превышено время ожидания ответа от Вашего сервера. Возможно, проблемы на Вашем хостинге.
- Некорректная структура сайта - например, большие количества внутренних ссылок с одной страницы. У робота-индексатора есть ограничение по количеству внутренних ссылок, по которым он переходит вглубь сайта. Для главной - 500, для 2-го уровня - 150.
- Страницы закрыты в robots.txt.
- Страницы закрыты от индексации в метатегах.
- Код системы расположен в неиндексируемой зоне документа ( в блоках <noindex>, <script> или комментариях). Убедитесь, что страницы проиндексированы ПС Яндекс, иначе сайт не пройдет модерацию.
- Сайт работает на специфической CMS, поэтому робот не может его корректно проиндексировать.

Рекомендации

Попробуйте сделать карту сайта и поставить на неё ссылку с главной.
Как показывает практика, наиболее частые ситуации № 2, 3 и 6 (многие вебмастера случайно где-то забывают закрыть тег <noindex>.
Ситуация №7 встречается крайне редко.

[свернуть]

[pingvin]

Сапа находит 100-200 страниц потому, что остальные страницы 4-го и выше уровня. Один клик с главной это страница страница второго уровня, два - третьего. Чтобы все страницы попали сделайте страницы с картой сайта. Только учтите, что с главной страница сапа учитывает 500 ссылок, а с внутренних страниц 150.

[webarter]

Если сайт не особо важен как сдл, воспользуйтесь также плагином pixel sitemap - сразу и все посты проиндексируются, и станут страницами второго уровня вложенности.

[skryptman]

Установил на сайт карту а также переделал немного структуру, увеличил кол-во постов на странице. Посмотрим даст ли это эффект или нет.

[pingvin]

На самом деле можно сделать все посты страницами второго уровня только на момент индексации роботом сапы. =)

[skryptman]

На самом деле можно сделать все посты страницами второго уровня только на момент индексации роботом сапы. =)

А если сапа запалит, может сайт забанить или еще какие санкции наложит за такое?

[OKyJIucT]

pingvin, так для этого надо, чтобы с главной на каждую страницу вела ссылка. Я уже пробовал сделать, чтобы у каждой статьи был адрес site.ru/article_n%.html но робот сапы не дурак, вычислил все правильно :)

[r2d2]

Установил на сайт карту

попробуй карту разбить по 100-150 страниц и выводи все карты ) получиться что должен всё съесть, но учти .. много ссыло продажны с страниц сайта = агс, т.е. постоянно работа над наполнением!

[skryptman]

r2d2 В карте сайта я сделал по 200 ссылок на 1 странице думаю должен съесть все странички.