Яндекс бот хуже ддос?

[PTurbo]

Яндекс такой лапочка, один из старых сайтов в последние дни начал активно индексировать, по 200к страниц в сутки, причем делает он это за 2 подхода по пол часа, делая 10гб трафа, сервер тупо падает.

Кто-то пользовался директивой роботс Crawl-delay?

Заранее спасибо за ответы

[Alex_BET]

вам сейчас надо ее вводить в роботс, деректива создает таймаут между запросами бота, мне в свое время помогла

[izograf]

Я использовал, была проблема с одним порталом, сайт тупо падал, когда яндекс приходил. Ставил 2 секунды таймаут в роботсе, но вот как оптимальнее было бы поставить не скажу. Сайт нормально индексируется сейчас, отклонений каких-то в индексировании не замечено.

[nn165m]

большой таймаут главное не ставить а то бот тупо уйти может:)

[PTurbo]

10 секунд это не сильно много?

[Alex_BET]

PTurbo, я бы меньше поставил, для начала 4-5 и посмотрите, нагрузка спадет. Сильно много лучше не ставить, особенно сразу.

[akrustam]

Яндекс такой лапочка, один из старых сайтов в последние дни начал активно индексировать, по 200к страниц в сутки, причем делает он это за 2 подхода по пол часа, делая 10гб трафа, сервер тупо падает.

Ты уверен, что это яндекс?

[mrchico]

Мне кажется это не бот слишком дохрена трафа, а наверное у вас на сайте что то с движком или с сервером..была такая же хрень пока не обновил двигатель.

[3s777]

а еще возможно что парсит какой-нибудь хитрец...

[PTurbo]

Да, уверен что яндекс и что гугл бот, логи же смотрю

За 8 дней сайт сделал 100 гиг трафика, причем пиками в течение дня по несколько раз, так, что ложит сервер.

До этого делал 1 гиг за 8 дней. Это и заставило анализировать.

Надеюсь crawl-delay спасет