[romarioz]

Сайт попал под АГС. Было принято решение сайт закрыть, срок регистрации не продлевать, дождаться выпадения из индекса, и залить статьи на свой сайт с соответствующей тематикой. К сожалению, после окончания срока регистрации домена, новые владельцы дропа восстановили содержание сайта из вебархива. Эту ситуацию уже не исправишь, но в дальнейшем хотелось бы такого избегать. Как вариант - изначально при заливке нового сайта закрывать на уровне htaccess доступ ботам вебархива. Кто то сталкивался с подобным? Есть ли перечень их IP?
Спасибо.

[WSairus]

Достаточно добавить в robots.txt:

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 1 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.

[Talismanchik]

romarioz, для этого в файле robots.txt прописать:
User-agent: ia_archiver
Disallow: /

[romarioz]

WSairus, пруф убедительный, единственное, что смущает, будет ли это останавливать боты? Все же robots.txt носит рекомендательный характер. Хотелось бы запретить на уровне .htaccess

[Talismanchik]

единственное, что смущает, будет ли это останавливать боты?

Да, это будет останавливать роботов вебархива. Проверено на моих сайтах. Я правда сейчас не закрываю от них свои сайты.

[WSairus]

romarioz, будет. Кроме того можно подать заявку на принудительное удаление сайта - по ссылке есть вся нужная инфа.

[Красавчег]

будет ли это останавливать боты?

Останавливать на 100% будет запись в .htaccess

<Files 403.shtml>
order allow,deny
allow from all
</Files>

SetEnvIfNoCase User-Agent ia_archiver bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot