[xclsv]

Доброго времени суток всем форумчанам.
Столкнулся с такой проблемой:
Есть сайт. Хотел создать для него карту сайта. Естественно не вручную, т.к. страниц очень много. Но вот беда. Все генераторы sitemap собирают 6-24 страницы. Реально их намного больше. Есть 4 уровня вложенности (если считать, что главная - 1 уровень). Во время использования одного из генераторов я заметил, что он (генератор) страницы-то все видит, но вот помещает в xml-ку только ограниченный список из пары десятков страниц. Проверил robots.txt, проверил сами страницы и шаблон на наличие noindex/nofollow в html. Ничего нет. Все произвольно выбранные мною страницы отдают 200 ответ. Больше причин не заносить страницу в карту сайта я не вижу. Прошу Вашей помощи. Что с сайтом не так? Проблема наверняка актуальна и освещение ее решения будет полезно всем специалистам. Заранее всем благодарен.

[DeleteD]

А чем генерируете?

[Я Джин]

"Xenu" в помощь, соберет все

[Pirat]

xclsv - могу собрать sitemap, через website auditor, пиши в приват, так же проверю сайт и вышлю отчет.

[aglomerat]

попробуй http://www.xml-sitemaps.com/ индексит все. правда если больше 500 страниц придется платить, но там сравнително не много.

[aleksakfima]

Я бы вот такой софтинкой порекомендовал воспользоваться http://wonderwebware.com/sitemap-generator/(бесплатная)

[xclsv]

Всем благодарен за ответы.
DeleteD, генерил почти всеми сервисами и прогами из выдачи поисковиков )
Я Джин, Xenu хорошая вещь. Она мне говорит, что урлов с "ок" аж 87, однако в карту собирает лишь 16
Pirat, заметил, что Xenu сообщает о частых 403 ответах. Скину в личку ссылку на сайт, буду очень благодарен, если поможете найти причину 403 ответа.
aglomerat, пробовал. Тоже собирает не больше 25 страниц. Всегда выдает разное их количество. Сам сервис неплох, но не помогает. Видимо причина все-таки в сайте. Как будто блокиратор доступа от частых запросов стоит какой-то...
aleksakfima, пользовался ей и буду пользоваться. Очень нравится то, что она работает не из браузера и не надо ничего качать )) Удобная она вообщем ) Больше нравится, чем браузерные собиратели. Спс.

Если кто знает причины 403 и где их искать, прошу отписаться. Ещё раз заранее благодарен.

---------- Сообщение добавлено 04:47 ---------- Предыдущее 03:23 ----------

Проблему решил процентов на 30 )) Может полезно будет другим. Отключил защиту в sh404sef в Joomla )) Теперь на http://www.xml-sitemaps.com/ собирается 500 страниц (максимум). А вот sitemap-generator собирает стабильно 25 )) По всей видимости он не хочет лезть глубже 2 уровня вложенности, либо что-то ему мешает ) Мне лично не важно, сколько какой сборщик соберет страниц, лишь бы робот Яндекса не получал ошибок )

[Pirat]

Делается проверка сайта, требует больше времени чем я предполагал, на первый взгляд - печально.

Напиши свою почту

[xclsv]

Pirat, в личке.

[Pirat]

Сделал анализ сайта, у тебя там более чем на 60% страниц идет редирект 303 , возможно из за этого и не собирает sitemap правильный, кидай почту, скину тебе и отчет и sitemap