[Wekze]

В последнее время при создании сайтов лень возиться с Денвером, поэтому изменяю и редактирую всё прямо на серваке. Использую тексты левые(ctrl+C ctrl+V), изменяю код и т.к. ну и чтобы ПС всё это не кушали закрываю все страницы от индексации при помощи конструкции в robots.txt:
User-agent: *
Disallow: /
Так вот хотелось бы узнать, как к этому относятся ПС? Нехорошие сомнения стали появляться после того, как у прошлого сайта который я пилил таким образом в Яше проиндексировалось 7 страниц(и в течении 3 месяцев эта цифра так и не выросла), а в Гугле >50. Может и совпадения может и нет, что вы думаете по этому поводу?

[3s777]

Wekze, из документации Яндекса

Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен. В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.

Т.е. по идее, каждый раз обращаясь к сайту сначала робот обращается к robots.txt, а потом уже гуляет по страницам, которые ему разрешены. Но по факту заметил, что иногда яндекс как бы обращается к старому robots.txt (как бы где-то у него закэшировался) и индексация новых открытых разделов происходит не сразу. Но это не долго. Но чтобы 3 месяца с таким я не сталкивался и думаю если 7 страинц все таки были в индексе, хотя запрет стоял полностью на индексацию, поэтому думаю дело не в этом. Но я бы лучше не закрывал сайт, а выключал на время разработки (если CMS).

[Гладиолус]

Индексация заблокирована в robots.txt
Непонятно зачем это делать, пусть даже временно.

[Wekze]

Гладиолус,чтобы пс не кушали странички с скопированным с других сайтов контентом не?

[SamsonIT]

Wekze, Гладиолусу не понятно зачем таким образом наполнять сайт (как и мне).

[3s777]

зачем таким образом наполнять сайт (как и мне).

Если я правильно понял, то ТС имеет в виду, что закрывает сайт от индексации на время его создания. Т.е. он его создает и редактирует прям на сервере, а когда сайт уже готов и наполнен первичной информацией - открывает.

[MacLeo]

Я всегда так делал, вообще не перевариваю все делать на локалке а потом переносить. Проблем с индексацией никогда не было...

[treeclimber]

В последнее время при создании сайтов лень возиться с Денвером, поэтому изменяю и редактирую всё прямо на серваке.

Очень рискованная практика. Хотя я вас понимаю - Денвер не всегда может смоделировать реальные условия.
Я от него тоже отказался. Но сайт редактирую/изменяю на своем ноуте. На виртуалке. Это IMHO более соотвествует боевым условиям на хостинге. А напрямую редактировать.... Если ошибешься, то можно кучу времени потерять, восстанавливая предыдущий вариант из бэкапа.

[orange-tvv]

Я всегда так делал, вообще не перевариваю все делать на локалке а потом переносить. Проблем с индексацией никогда не было...

я то же. даже и меняю движки. проблем не было с индексацией.

[pyramida]

Так вот хотелось бы узнать, как к этому относятся ПС?

А как должны? Нормально относятся. И благодарны за то, что сайт отдает меньше мусора в индекс экономя машинное время.

а в Гугле >50

проверяли командой сайт? Проиндексированны скорее всего только урл страниц. Вообще гугл момет закинуть в индекс то, что закрыто в роботс(роботс у гугла управляет сканированием, а не индексированием). Для гарантированного исключения из индекса в коде страниц должен быть метатег ноиндекс.