[muldy]

Здравствуйте!
Интересует вот какой вопрос всем известно что некоторые страницы вконтакте индексируются поисковиками, но если посмотреть внимательно файла robots.txt у них не наблюдается((
Подскажите существуют ли другие способы закрытия от индексации страниц, например возможно на стороне сервера????

[assai]

Если ты знаешь хорошо про яндекс, то такой вопрос сам отподет). Пару причин почему не все в индексе. Это просто страницы не интересны. И то что есть ограничение на кол-во страниц для домена.

поэтому и крупные порталы часто выводят какие-то разделы в поддомены.

способы закрытия от индексации страниц, например возможно на стороне сервера????

в принципе можно. к примеру на основе клоакинга(сам не знаю как это). Определять пришел ли робот и выдавать ему код перенаправления или ошибки. Тогда страницы естественно не попадут в индекс...

[muldy]

assai, нашел информацию что вконтакте с яндексом договор - здесь все ясно, но как же быть с google?

---------- Сообщение добавлено 15:30 ---------- Предыдущее 15:26 ----------

В продолжении

Определять пришел ли робот и выдавать ему код перенаправления или ошибки. Тогда страницы естественно не попадут в индекс...

у них создан файл /badbrowser.php возможно он как раз это и определяет??

[Bruks]

Можно ответ сервера 404 отдавать например.

[kvins]

Мне даже интересно как ты сделаешь это в контакте без их разрешения или вопрос в другом ?

---------- Сообщение добавлено 10:52 ---------- Предыдущее 10:51 ----------

Думаю в контакте нету четкой перелинковки страниц вот и не попадают некоторые страницы в индекс пока бота специально не зашлешь