Как защитить сайт от бот...

[Tevton]

Приветствую, друзья!
Подскажите, пожалуйста.

На сайт пошел траффик "Прямые заходы", продолжительностью 0 сек.
Соответственно, ПФ в шоке, шкалят отказы и все такое... Посещений не очень много, но бесят и мешают.

Как защититься от них? Метрика айпишники не показывает, только подсети... типа RIPE NCC Test Announce, JSC Kazakhtelecom, Pavlodar Affiliate

Но так как этих подсетей больше 500 и со всего мира(и Казахстан, Америка... так и СПб(по которому крутиться клиент). Если банить все эти подсети - то будет треш с отрезанием доли траффика нормального, целевого.

Что посоветуете, ребятки?.. Спасибо)

[Coder]

Логи сайта/сервера есть возможность проанализировать?

Если нет, то можно подумать об установке скрипта для записи логов.

Кроме того, можно поставить скрипт, предотвращающий повторный заход с одного и того же ip в течение определяемого времени (тут нужно смотреть, поскольку интерактивные страницы быстрее срабатывают).

Поставить скрипт ручного/автобана зачастивших в короткий срок ip. Или зачастившим предлагать, для продолжения/захода пройти небольшой баоьер - капчу (несложную, но все-таки)

То есть, думается - анализ и точечная настройка - это сложно и долго, зато с минимальным возможным ущербом для целевого трафика.

[shons]

А роботс.тхт не может помочь разве?
User-agent: ...такой-то...
Disallow: /

[DOleg]

А роботс.тхт не может помочь разве?

Однозначно не поможет, так как он для совсем других целей. Надо блочить через htaccess.

Если банить все эти подсети - то будет треш с отрезанием доли траффика нормального, целевого.

Вычислять, какого трафика больше, тот и блочить, причём вычислять именно паразитный, пытаясь минимизировать блокировку полезного, так что изучайте логи...

[redeyer]

Да, никакие robots тут не помогут однозначно. Сомнительна и блокировка через htaccess. Методы борьбы с подобным автоматическим трафиком по сути такие же как и с DDOS. Это различные скрипты, анализаторы и хитро настроенные файрволлы на уровне сети. C единичными случаями нет никаких проблем для блокировки по IP средствами iptables вручную. Я делал именно так.

Если же атаки носят массовый характер и происходят часто с разных айпи, надо использовать более серьезные методы. На хабре есть хорошая статья на эту тему http://habrahabr.ru/post/204508/. Суть в чем - определить что это бот и внести в правила файрволла. Если активность с данного IP исчезла - разблокировка адреса через какое-то время

[Chapman]

Tevton, попробуйте такой фильтр от метрики, возможно поможет:
- Тип фильтра: Оставить только трафик.
- Поле: URL страницы.
- Условие: сайт и зеркала.

[smsina]

Chapman, дело, наверное, не только в корректности статистики - ТС может переживать за поведенческие факторы.
Если траффик не сильно грузит - надо найти его в логах и отсечь на уровне htaccess (перенаправить) или движка (выдавать пустую страницу или 403)
Если уже даже грузит - получается нормальный dos (или ddos) - тогда уже точно можно просить помощи у провайдера