[Gradus]

Доброго времени суток . Столкнулся с вопросом стоит ли закрыть к сайту доступ всех ботов ?
( кроме ботов поисковых систем )
P.S Большое количество ботов посещает сайт ... Сканируют вдоль и поперек ..

Хотелось бы узнать мнение Общества по этому поводу ?

Закрываете от сканирования ботами сайт или нет ?

[brainix]

Как вы определяете бот или не бот?

[Gradus]

brainix, в логах там видно сразу посетитель= куча просмотров картинок итп. А бот один заход и ушел зачастую подписано бот такой то...

В основном боты ..сео ..заходят в гости во думаю может их заблокировать как то

На сайте слабый трафик до 50 в день поэтому в логах не тяжело найти ..шпионов..
Там важен не трафик а позиция ....

[Stendarr]

Я от ботов не закрываю. Кому надо, тот и так все просканирует. А нагрузку на хостинг они дают сейчас мизерную.
Да и если закрывать, то только через .htaccess
P.S. Вот наше в тему:
Как закрыть доступ на сайт ботам Вебархива?

[3s777]

Я вычислил несколько ботов которые тырили контент на одном из сайтов. Потом этот контент нашел на дорвеях сделанных под одну товарную партнерку. Заблокировал по ip, сейчас вроде ничего подозрительного не приходит. Но думаю если это направлено шли на сайт, то и вручную зайдут скопируют кому что нужно, а если в промышленных масштабах, то думаю поможет (хотя ip у них может меняться достаточно часто)

[Gradus]

3s777, Да вот и я о том же думаю есть ли смысл закрывать ? Ведь полюбому айпи у них там резервных предостаточно ..

Там тырять толком нечего ..
Смотрят конкуренты важна позиция такое ощущение у них перед сном акт ... про сканировать мой сайт а то не уснут

[izerkalov]

Stendarr,Дня доброго, у меня тож опыта по защите и администрированию сайта не много, если блокировать через .htaccess, то алгоритм действий в общем - в htaccess вставить список ботов, а так же разместить чёрный список IP с каких заходили или слишком большим списком можно сервер напрячь и достаточно только первого пункта?

[Stendarr]

izerkalov, День добрый.
Да. Алгоритм такой.
ЧТобы закрыть доступ к сайту с определенных IP:
#Запрет доступа к сайту с IP 192.168.0.1
Order allow,deny
allow from all
Deny from 192.168.0.1
Если нужно закрыть целую подсеть, то
Order allow,deny
allow from all
Deny from 192.168 (как пример)
Вообще по .htacess есть неплохая статья на Хабре, на мой взгляд.

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 1 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.

По поводу нагрузки на сервер. Не могу с уверенностью сказать, но мне кажется, что запрет доступа к сайту будет меньше нагружать сервер, чем если бы без запрета некий бот получил часть содержимого сайта :)

[izerkalov]

Stendarr,Спасибо за конкретику и за наводку на статью, прочитаю на досуге, хотя тож придерживаюсь мнения, что 100% блокировки всё равно не добиться, всё равно, что с ветряными мельницами сражаться, но знать и взять на вооружение надо.

[druzhkov]

Хорошие боты, которые тырят контент или еще что-то, при хорошей реализации трудноотличимы от реальных посетителей. По крайней мере, я своих ботов стараюсь маскировать.

Закрывать им доступ - ну, если совсем агрессивные с конкретных ip-шников, то можно. А так смысла нет - с одного адреса заблокировали, с другого залезут.