[kudros]

Всем привет. Есть несколько сайтов, которые хочется спрятать от глаз конкурентов и "доброжелателей", а именно^

1. запретить чтение robots.txt
2. просмотр sitemap.xml
3. просмотр внешних ссылок через linkfid (бывший соломоно), ahrefs, page-weight, и др.

Кто в курсе? Подскажите, дабы не лопатить выдачу. Заранее спасибо.

[mojwp]

"лопатьте" выдачу. Все футбол смотрят

[hammer8]

1. robots.txt, нельзя менять адрес, конкуренты не найдут данном файле ничего особого.
2. Можно разместить карту по нестандартному адресу.
3. Никак, уже обсуждалось на этом форуме.

[Nelegal]

1. запретить чтение robots.txt

Один из первых же сайтов в выдаче по запросу выдает такое решение:

.httaccess

<Files robost.txt>
Order Deny,Allow
deny from all
allow from ... Google bot IP
allow from ... yandex bot IP и так далее
</Files>

Все что надо, это найти айпишники ботов.

Карту сайта можно разместить в папке /sitemap/, например.

[rawebmaster]

Из вчерашней статьи Деваки:

— Блокировка доступа к сканированию сайта роботами Ahrefs и Open Site Explorer.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule .* - [F]

http://devaka.ru/articles/regexp-for-seo

[kudros]

Всем спасибо за ответы, обязательно воспользуюсь рекомендациями.

[DeleteD]

Вместо роботса можно пользоваться мета-тэгом noindex. Непонятно только, зачем вашим конкурентам ваш роботс и сайтмап...

[kudros]

DeleteD, вообще не понял что вы написали, как тег noindex заменит файл robots.txt?

[mojwp]

как тег noindex заменит файл robots.txt

вот так http://help.yandex.ru/webmaster/cont...robot/html.xml (раздел "Также робот Яндекса учитывает указания в тегах")

[kudros]

mojwp,Смотря кому и для чего файл robots.txt, в моем случае это не только закрытие отдельных страниц или контента от индексации