Скрыть индексацию всех страниц в поисковой системе

(Ответов: 4, Просмотров: 559)
  1. Студент Аватар для dandystore
    • Регистрация: 23.06.2012
    • Сообщений: 97
    • Репутация: 16
    Здравствуйте! Наткнулся на сайт https://www.asmallworld.com

    Позиционирование - закрытая социальная сеть для успешных людей, которая обещает конфиденциальность всех
    данных, даже в зашифрованном виде...

    И так сайтов очень много. Хотелось бы узнать - каким способом данные ресурсы скрывают индексации страниц, материалы из любых поисковых систем - все дело в двух файлах - robots и sitemap? или же в таких сайтах заложен определенный алгоритм.

    Спасибо
    • 0
  2. Дизайнер года Аватар для Kiwikov
    • Регистрация: 17.12.2012
    • Сообщений: 1,400
    • Репутация: 741
    • Webmoney BL: ?
    dandystore,

    Код:
    https://www.asmallworld.com/robots.txt
    И вот: http://yandex.ua/yandsearch?rdrnd=88...t=1414746877.1
    Качественный дизайн сайтов от 70$ - Профессиональный дизайн для Вас и Ваших клиентов!
    • 1

    Спасибо сказали:

    dandystore(31.10.2014),
  3. Студент Аватар для dandystore
    • Регистрация: 23.06.2012
    • Сообщений: 97
    • Репутация: 16
    А что с другими проектами, которые не индексируются в принципе
    • 0
  4. Опытный Аватар для VulkanPartner
    • Регистрация: 07.04.2014
    • Сообщений: 322
    • Репутация: 41
    Цитата Сообщение от dandystore Посмотреть сообщение
    А что с другими проектами, которые не индексируются в принципе
    В других так же. В 99% случаях у них в robots.txt будет тоже

    Код:
    # User-Agent: *
    # Disallow: /
    Для пущей надежности ботов можно и по UserAgent отлавливать и отсекать в принципе. Но именно для того, чтобы в индексе ПС не было страниц - ограничений в роботсе хватает вполне.
    VulkanPartner.com - ведущая гемблинг-партнерка с выплатами до 60% от дохода казино!
    • 1

    Спасибо сказали:

    dandystore(31.10.2014),
  5. Гуру Аватар для kuzmi4
    • Регистрация: 26.02.2014
    • Сообщений: 524
    • Репутация: 104
    • Webmoney BL: ?
    в хтассес прописать бан по IP для всех поисковых роботов.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Индексация ваших страничек (ссылок) в поисковой системе Яндекс
Услуги по SEO 9 19.11.2013 15:50
Индексация ваших страничек (ссылок) в поисковой системе Яндекс
Другая работа 0 23.10.2013 22:57
Проблема с снипетом в поисковой системе яндекс
Поисковые системы 13 20.10.2011 20:18
Проблема с снипетом в поисковой системе яндекс
Общие вопросы поисковой оптимизации 2 07.10.2011 14:23

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры