[SamMan]

Дело так было. Числа 8-го февраля решил что можно открывать публичный доступ к своему сайту-блогу. Пошел в ГуглВебМастер(ГВМ), все заполнил, указал где Sitemap сайта находится, все как положено. Гугл мне: "про Sitemap понял, ждите - бот-индексатор к вам скоро придет". Пришел. В принципе проиндексировал. НО! Иду теперь в ГВМ в Ошибки сканирования.Из ее текста следует, что 8 ссылок указанных в Sitemap все-таки не были проиндексированы. Причина у всех одна:

URL, запрещенный файлом robots.txt

Роботс у меня, как положено, есть, это да. Но, допустим, копирую я со все той же страницы Ошибки сканирования первую из 8-ми проблемных ссылок. И иду на другую ГВМ страницу, Доступ для сканера. Там вижу что

robots.txt был загружен 3 часа назад, ниже в поле

Содержание его, собственно, содержание. Которое НЕ МЕНЯЛОСЬ с момента открытия сайта. Еще более ниже в поле

Укажите URL-адреса и роботов User Agent для проверки ввожу проблемную ссылку. Проверить -> Разрешено. И так по всем 8-ми ссылкам. Никаких мета-тегов влияющих на индексацию (noindex...) в HTML-коде целевых страниц на которые указывают эти ссылки тоже нет.

И как все это объясняется?

Может кто "пролить свет"?

[lori]

Выкладывайте ссылки и содержание роботса. Без этого никто не сможет помочь...

[dmg.shark]

SamMan, подожди немного или пытайся связаться с поддержкой :) никто здесь никакой "свет" не "прольет", если ты говоришь, что так как оно есть :)

[SeoSquirrel]

Есть такое, возможно, что это временные глюки, связанные с обновлениями алгоритмов или ещё что... Но у меня Главная страница одного из сайтов так же не индексируется, хотя открыта с 9-го февраля, зато внутренние начали индексироваться... Подождём, посмотрим...

[SamMan]

Да, вы правы. Гугл местами... странно-тормозной, скажем так. Ничего не делал, сегодня уже не 8 проблемных ссылок, а 4. Как он так умудряется сам косячить и сам же себя исправлять - загадка. Но в общем ясно: если в проверке роботса на стр. Доступ для сканера вы сами видите что все OK - просто спокойно ждите, все будет.

[tyrust]

SamMan,
Спасибо, тоже такая проблема сейчас.

[dmg.shark]

Как он так умудряется сам косячить и сам же себя исправлять - загадка.

может быть у него какие-то данные кешируются, а кеш обновляется не сразу, а через несколько проверок :)

[myartlife]

SamMan, 10 -20 хороших ссылочек с твиттера вам помогут
проверьте еше раз содержание роботса на вашем сервере

[forsale]

Уменя обычно веселее получается - запрщаеш индексирование того, что ненужно индексировать, а Гуглу пофиг, все в индекс тащит :)

[zkzakhar]

forsale, такая же ситуация, мне иногда кажется что robots.txt для гугла не существует. Хотя особых минусов я в этом не замечаю, нравится ему - пусть