[tolev]

такая же беда. причем в один ап все ок пусть 400 страниц а через неделю снова 4000. а открываешь через браузер на 400 страницах сообщение - типа остальные удалены так как одинаковы и т.д. так что я на это забил.

[dmg.shark]

случайно удалите, а потом вопрос на форуме "почему не индексируется" зададите

ну вопрос поступил же не от новичка, тем более, зачем удалять то, в чем не уверен? а тут без сомнений :)

[scalex]

robots.txt запрещает добавлять страницу в главный индекс, но он не запрещает смотреть ее.

Если Вы не хотите, чтобы страницы Гугл даже смотрел, то размещайте на не нужных страницах мета-тег <meta name="robots" content="noindex">

[dmg.shark]

robots.txt запрещает добавлять страницу в главный индекс, но он не запрещает смотреть ее.

по логике, robots.txt не позволяет поисковому боту следовать на эти страницы вообще

но я так понимаю, что Google нашел лазейку в законе, чтобы все-таки держать у себя информацию об URL страниц, но не информацию самих страниц

только непонятно вообще зачем

[pyramida]

ну вопрос поступил же не от новичка, тем более, зачем удалять то, в чем не уверен? а тут без сомнений

1. Вы спросили я ответил.
2. как видите тема не новичка но вопросы задает :)

---------- Сообщение добавлено 04:03 ---------- Предыдущее 03:59 ----------

но я так понимаю, что Google нашел лазейку в законе,

в каком таком "законе"?

[Sead]

У самого куча вопросов по этой теме. Но, по поводу закона. Насколько я выяснил дело тут такое.
Робот гугла не заходит на страницы запрещённые в роботсе. Но! Он заходит на эту страницу и её индексирует по ссылке, которая на эту закрытую в роботсе страницу и показывает. Вот и всё. Поэтоому закрытие в роботсе страницы не даёт гарантии от её индексации гуглом.

[dmg.shark]

1. Вы спросили я ответил.
2. как видите тема не новичка но вопросы задает

и ответили ерунду :)
когда удаляешь страницу (да хоть весь сайт) через GWT, она как исчезает быстро, так и быстро возвращается после удаления правила на удаление
поэтому даже если ошибиться с чем-то - можно быстренько это дело поправить

уже не один раз проверял удаляя сайты полностью из индекса - в то же день уходят из индекса и как только убираешь правило - точно так же в тот же день сайт целиком в индекс возвращается

то есть эта функция, как будто, скрывает просто сайт

в каком таком "законе"?

я не знаю конкретную статью, но наверняка что-то с конфиденциальностью связанное
дай волю Google - он будет индексировать даже то, что закрыто от индексации

он бы хотел, но его скорее всего защимит закон, но наверняка закон запретил индексировать и отображать в выдаче содержание страницы, а URL показывать никто не запретил - это ведь не конфиденциальная информация

вот об этом я и говорю, что содержимое страницы он не знает и не показывает, а URL с удовольствием
кстати, не он один такой - Bing точно так же показывает