[span4bob]

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно. Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?

[nn165m]

крав делей не стоит ставить...
индексация в итоге страдает в большинстве случаев
лчше ограничить доступ или оптимизировать сайт

[umarkt-stepanov@yandex.ru]

span4bob,составьте нормальный сайт robots.txt, первое, что бросается на ум - запретите сканирование страниц пагинации, сортировки и корзины, поищите мусорные страницы или дубликаты и так же запретите сканирование ненужных урл.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?

Настройки у всех разные, у кого-то один роботс на все сайты, у кого-то отдельные для каждого субдомена.
Откройте роботс по урлу город1.сайт.ру/robots.txt и сайт.ру/robots.txt, затем внесите изменения, обновите страницы - если изменения прошли только в том файле, где вы вносили правки, то очевидно - надо искать аналогичные файлы для всех субдоменов и вносить правки туда тоже.
Если у вас все-таки один роботс на все сайты, то можно прописывать все в одном файле, однако - это не лучший вариант хотя бы потому, что нельзя прописать верный host и sitemap для сайтов, вариант с отдельными файлами - более правильный.