В индексе гугла есть вот такие страницы. В роботс.txt они запрещены к индексации, но гугл все равно почему-то держит их в индексе и в соплях. Причем гугл сам в дескрипшене пишет что страницы закрыты от индексации, но почему-то индексирует их...
grazer, в панели ГВМ, есть инструменты удаления, можно постранично, можно каталогами, можно и по признаку в урле (к примеру feed), исчезают из индекса на следующий день. Но, гугл же видит что они запрещены, и с недавних пор стал информировать (см. снипет), чтоб не нервничали - не должен он за это наказывать.
grazer, этих страниц нет в индексе. Можете проверить вбив site:урл_страницы текст_с_страницы. Как удалять. Если кратко то добавте тег <META NAME="robots" CONTENT="noindex,nofollow"> на страницы которые нужно удалить. Откройте в роботс чтобы бот смог тег прочитать. Сколько времени удет незнаю. Это зависит от любит не любит бот сайт :) Можно и через удаление урл, но сначала прочитайте Когда НЕ следует использовать инструмент удаления URL
Инструмент удаляет страницы на 90 дней без возможности повторного включения. Понимаете чем может грозить?
---------- Сообщение добавлено 23:04 ---------- Предыдущее 23:02 ----------
Сообщение от Textoslov
Или я не прав, и стоит заморочиться с их удалением?
Не доказанно, что есть квота на выделенно время сканирования ботом сайта. Представте если он должен просканировать только 20 страниц в день? Что будет если в пачке окажутся пустые страницы или малозначимые? Они тоже будут отнимать время.
Инструмент удаляет страницы на 90 дней без возможности повторного включения. Понимаете чем может грозить?
чем оно может грозить? объясните :)
Сообщение от grazer
В индексе гугла есть вот такие страницы. В роботс.txt они запрещены к индексации, но гугл все равно почему-то держит их в индексе и в соплях. Причем гугл сам в дескрипшене пишет что страницы закрыты от индексации, но почему-то индексирует их...
да, по ходу, никак - сам подымал недавно такую тему http://webmasters.ru/forum/f4/o-tom-...ots-txt-42988/, но собственно фишка в том, что он же их не индексирует - он просто выводит адреса этих страниц, что типа он о них знает, но контент не имеет права индексировать :)
не думаю, что по этому поводу нужно париться, если конечно отношение страниц в основном индексе и дополнительном так важно, именно как численный показатель :)