[dmg.shark]

Еще раз о том, что как ни крути, но Google знает о страницах, закрытых в robots.txt http://joxi.ru/2xxnUdg5CbB4FwinLgM
Причем в моем случае - это страницы, которые в соплях Google (только сейчас это заметил).

То есть он, как бы пишет: "A description for this result is not available because of this site's robots.txt – learn more.", но при этом с удовольствием хавает и дает еще ссылку.

Если такой параметр как отношение основного индекса к соплям является одним из факторов ранжирования, то это плохо.

[Doctor Mad]

я тоже заметил, в выдачу попадают закрытые в роботс страницы (у меня попали закрытые /feed), при этом пишет под ссылкой:
"Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."
Правда, по ссылке все равно перейти не дает

[altezzik]

Правда, по ссылке все равно перейти не дает

Нормально переходит по ссылкам.

У меня такая же ересь. Закрытые от робота файлы, в основном это страница галерей без текста, сидят в соплях с такой же надписью:

"Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."

[genjnat]

dmg.shark, Та не должно влиять.
И писать он это стал (раньше не было) чтоб мы меньше нервничали)
Ну а если все таки есть сомнения, можно через ГВМ удалить – уходят из индекса в течении 24 часов

[dmg.shark]

я тоже заметил, в выдачу попадают закрытые в роботс страницы (у меня попали закрытые /feed), при этом пишет под ссылкой

wordpress? (гадаю из-за /feed)

genjnat, так там же по правилу нельзя удалить массово, нужно каждый url удалять? или уже можно (не обращал внимания)?

[genjnat]

dmg.shark, можно - каталогами, и даже по общему призаку, в урле

---------- Сообщение добавлено 21:47 ---------- Предыдущее 21:38 ----------

Вложение 9454
Вложение 9455

[WebPrib]

Для интернет магазинов, мусор что должен быть закрыт роботсом - уходит в сопли и если закрыть его в роботсе он всё равно в соплях останется. Так что, можно особо не париться на этот счёт. Вот для статейного сайта, уже стоит с соплями возиться, чтобы там поменьше было.

[DeleteD]

Дык это не новость. Гугл сам говорит, что роботсом мы только просим его не индексировать некоторые страницы, но он не дает гарантию, что указанные там страницы не попадут в индекс

[pyramida]

Ну а если все таки есть сомнения, можно через ГВМ удалить – уходят из индекса в течении 24 часов

Удалять нечего этой страницы нет в индексе. Есть только ссылка. Пруф нужен? Берете в поиск вбиваете site:адрес_сайта_и_страницы и ничего не находите. Так как это просто надпись что "страница закрыта в роботс" она действительно закрыта.

[DeleteD]

А почему тогда при поиске site:домен.ру находятся эти страницы?:)