[sasha0808]

Здравствуйте! У меня в роботсе вообще не указано для каких ПС существуют правила, а значит получается для всех. так вот недели 2 назад я там прописал много чего чтоб не индексировалось и вот яндекс практически все выбросил не нужное. думаю в следующем АПЕ точно все лишнее "утечет" а вот с гуглом проблема. гугл как индексировал сайт так и индексирует дальше.
Что нужно прописать именно для гугла?
за ранее спасибо!!!

[artorlov]

meta=noindex
<meta name="robots" content="noindex, nofollow" />

[sasha0808]

artorlov, и все? и что эта команда будет исключать только мета-теги, правильно? а чтоб допустим исключить какую либо страницу отдельную?

[artorlov]

sasha0808,Эти метатеги сообщат пс, что данную страницу не нужно индексировать !!! Они этого делать и не будут

[sasha0808]

Скажите для Вордпресс, вот это правильно будет?
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /category
Disallow: /tag
Disallow: /author
Disallow: /moi-celi
Disallow: /sitemap
Disallow: /reklama
Disallow: /kontakty
Disallow: /uslugi/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /new/films
Disallow: /content/cat1/
Disallow: /content/cat2/
Disallow: /content/cat3/
Disallow: /content/cat4/
Disallow: /content/cat5/
Disallow: /content/cat6/
Disallow: /content/cat7/
Disallow: /wp-content/data/

[GroupWM]

Примеры использования файла robots.txt

Символ # используется для обозначения начала комментария (текст, игнорируемый роботом). Например:

User-agent: * #Запрет индексации папки cgi
Disallow: /cgi/

Пример 1. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):

User-agent: *
Disallow:

Пример 2. Запрещаем индексировать все страницы сайта всем поисковикам:

User-agent: *
Disallow: /

Пример 3. Разрешаем индексировать всем кроме Яндекса:

User-agent: Yandex
Disallow: /

Пример 4. Запрещаем индексировать всем поисковикам кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно)

User-agent: Yandex
Disallow:

User-agent: *
Disallow: /

Пример 5. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir

User-agent: Yandex
Disallow: /cgi/
Disallow: /images/

User-agent: Aport
Disallow: dir/myfile1.htm
Disallow: dir/myfile2.htm

Пример 6. Весьма актуальная проблема. Запрещаем индексировать динамические ссылки, пример (?ul=…) всем поисковикам:

User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок

Пример 7. Указание значения для Disallow без открывающего слеша приведет к тому, что робот пропустит не только папки с таким именем, но и файлы. В следующем примере, роботы не будут индексировать папку с именем myfile, а также все файлы, имеющие данное имя например myfile.php.

User-agent: *
Disallow: myfile

Пример 8. Итоговый пример файла robots.txt

User-agent: * #Запрет индексации папок cgi и images для всех поисковиков
Disallow: /cgi/
Disallow: /images/

User-agent: Google #Запрет индексации файлов myfile1.htm и myfile2.htm для Google
Disallow: myfile1.htm
Disallow: myfile2.htm

User-agent: * #Запрет индексации файлов spisok.php и vsakaya-fignya.php для всех поисковиков
Disallow: spisok.php
Disallow: vsakaya-fignya.php

User-agent: *
Disallow: /*?sl* #Запрет индексации динамических ссылок с переменной sl

[kcjbar]

Скажите для Вордпресс, вот это правильно будет?

Все зависит от того чего вы хотите добится и какая у вас структура сайта (какие страницы должны остаться в индексе и сможет ли бот добраться до внутренних старниц без проблем) - в принципе нормальный robots, но я на своих wordpress сайтах использую еще эти строки:
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed

[DAV]

По вопросу закрытия от индексации страниц лучше всего сейчас рулят метатеги, правильно вам в 1м сообщении написали, просто берете и размещаете этот метатег в разделе head страницы которую хотите закрыть от индекса. Для того, чтобы быстрее убрать из индекса страницы, которые уже там есть можно воспользоваться инструментами для вебмастеров гугла, там есть возможность удаления страниц из индекса, работает безотказно

[sasha0808]

из индекса яндекса я удалял с яндексвебмастер ненужные страницы а с гугла что-то не могу удалить страницы.

[Fewal]

sasha0808, ну правильно, только будьте внимательны с Disallow: /uslugi/ закроет саму папку, но не то что в ней