[MetalMessiah]

Сейчас занимался оптимизацией одного сайта, провел анализ поведения роботов по логам веб сервера. Побочным делом обнаружилась очень интересная вещь:

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 10 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.

[Vebmister]

Посмотрел на своем новостнике, замечено небыло, насколько сильно популярен Ваш сайт? Может бот палит пропаганду?

[Tiulkin]

IP: 109.207.13.%

Пасется у меня такой. Тоже озадачил пару недель назад.

[zelez]

MetalMessiah, Видимо, за тобой уже едут)
А по делу: какая тематика новостей сайта? Политика?

[Great Russia]

А зачем ФСБ индексировать страницы сайтов, если есть Яндекс, гугл и т.д., немного не понимаю

[zelez]

А зачем ФСБ индексировать страницы сайтов, если есть Яндекс, гугл и т.д., немного не понимаю

Ну смотри, они добавляют в индекс только те сайты, которые их интересуют. Затем следят за появлением определенных слов или словосочетаний и при нахождении "плохой" новости - привет реестре запрещенных сайтов.
Ну это так, только моя идейка, нафиг оно им я не знаю

[MetalMessiah]

О, смотрю я не один жду цементовоз

Не сказал бы что мой сайт слишком уж популярен - 2000 в сутки всего. Тематика - и политика в том числе. Но новости в основном рерайт того что уже опубликовано в других изданиях. Никакой пропаганды терроризма и т. п.

А зачем ФСБ индексировать страницы сайтов, если есть Яндекс, гугл и т.д., немного не понимаю

я так думаю у них лишние терафлопсы простаивали.

Связь с реестром запрещенных сайтов - вопрос спорный. Он появился недавно, а бот этот был замечен еще в начале 2012 года (по данным с форумов, накопал еще пару постов по теме).

Tiulkin, сайт на .ru? Какая посещаемость примерно?

[Great Russia]

А не кажется ли вам, что после выборов 2012, которая сопровождалась массовыми акциями протеста, люди которые брались основном из интернета. ФСБ решили перекрыть источники силы оппозиции?) Однако, контроль общества в реале и в оффлайне может вызвать же революции, доказано. Как вам моя теория?)

[zaxll777]

Интересно, не думал об этом. ТС навел на мысли. А чтобы им на казенные деньги не построить машину посущую нас в сети. А может реестр есть логическое продолжение этой программы.

[digitfix]

Знаете ли Вы или нет, но у каждого провайдера стоит черная коробочка, через которую проходит весь интернет поток провайдера и он дублируется в этой черной коробочке и отсылается вмести с логами к людям о которых мы говорим. Поэтому они и так могут отследить кто и что выгружает. Хотя это сложно. Не удивлюсь что они занимаются и таким.