[Dolmatov]

Индексируются ли профили закрытые от гостей?

Друзья и некоторые разработки программа утверждаю что профиль закрытый от гостей индексируется, но мне не понятно как это происходит, ведь бот не может авторизоваться на сайте, тем более зарегистрироваться!

Вот свои доказательство привожу:

1. Заходу на страницу pr-cy.ru/simulator?url= Сайт глазами поиcкового робота, вожу ссылку и вижу что нет там не какого профиля, что бы посмотреть нужно зарегистрироваться или авторизоваться, Robots.txt пустой.

2. Прогоняю свой сайт по профилям, примерно 30 - 35К профилей с активной ссылкой но закрытых от гостей, после 2-3 апов не одной ссылки не вылезло!

А если по открытым прогоняю, например из 1000 открытых индексируется 500 -700 ссылок за 1-2 апа!

------------------------------------------------------------


Может быть я ошибаюсь и профили закрытые от гостей индексируются?

[cleverley]

Робот же не будет логиниться, чтобы проиндексировать профиль...

Профили закрытые от гостей не индексируются.

[shoggoth]

Вспоминаем историю с заказами секс-шопов и смсками мегафона. Не должен, но, чем Яндекс не шутит. Опять же, все зависит от сайта.

[artorlov]

Могу точно сказать что иногда индексируются !!! Зачастую движки распознают кто же пришел на сайт по юзер агенту и понимая чо пришел бот, отдают информацию !!!

cleverley, зачем быть столь уверенным, если точно не знаешь !?

[SamMan]

движки распознают кто же пришел на сайт по юзер агенту и понимая чо пришел бот, отдают информацию !!!

Не скажу что такого нет и быть не может... Может-то оно может, но алгоритм тупейший изначально. Система авторизации построенная на строке юзер-агента??? Умно. Может проще отдавать всем подряд и не париться? Если по итогу инфа один фиг публичной станет.

[Shred]

для бота гугл адсенса точно знаю что есть механизм что бы сообщить этому боту пароль для того что бы он мог заходить на страницы, которые доступны только после авторизации для анализа контента и подбора более релевантной рекламы. Так же не раз видел на форумах в юзерах онлайн юзера с ником гугл бота "Google.com". Пример такого форума exploit.in/forum. Так же помимо гугл бота там можно видеть и бота яндекса (Яndex). Интересно то что, ссылки на профиль у них нет. Как это достагается можно узнать у опытных владельце форумов.