[dandystore]

Здравствуйте! Наткнулся на сайт https://www.asmallworld.com

Позиционирование - закрытая социальная сеть для успешных людей, которая обещает конфиденциальность всех
данных, даже в зашифрованном виде...

И так сайтов очень много. Хотелось бы узнать - каким способом данные ресурсы скрывают индексации страниц, материалы из любых поисковых систем - все дело в двух файлах - robots и sitemap? или же в таких сайтах заложен определенный алгоритм.

Спасибо

[Kiwikov]

dandystore,

Код:

https://www.asmallworld.com/robots.txt

И вот: http://yandex.ua/yandsearch?rdrnd=88...t=1414746877.1

[dandystore]

А что с другими проектами, которые не индексируются в принципе

[VulkanPartner]

А что с другими проектами, которые не индексируются в принципе

В других так же. В 99% случаях у них в robots.txt будет тоже

Код:

# User-Agent: *
# Disallow: /

Для пущей надежности ботов можно и по UserAgent отлавливать и отсекать в принципе. Но именно для того, чтобы в индексе ПС не было страниц - ограничений в роботсе хватает вполне.

[kuzmi4]

в хтассес прописать бан по IP для всех поисковых роботов.