[Kopylov]

dmg.shark, да,индексирует,и даёт переходы с Яндекс.картинки :)

[seofan]

у меня за 3 года существования сайта на WP и картинок в его статьях, при не закрытом ./wp-content/ картинки так и не проиндексировались

если у вас не проиндексировались, это не значит что не проиндексируются у других.

[CherVal]

ТС как и многие вебмастера забывает или не знает, что:

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

Таким образом:

Disallow: */comment-page*

Тоже самое что и Disallow: */comment-page

Disallow: /page/* Disallow: /category/*/*

Тоже самое что и Disallow: /page Disallow: /category Зачем Вы ставите слеши в конце? Это просто лишнее.

Disallow: /year/* Disallow: /tag/*

Тоже самое что и Disallow: /year Disallow: /tag

Disallow: /*?* Disallow: /*?

Это одно и то же, достаточно написать Disallow: /*?

Disallow: /wp-admin/ Disallow: /wp-includes/

Слеши в конце не нужны. Если написать Disallow: /wp-admin/ то это не запрещает индексирование Disallow: /wp-admin

В папке wp-includes лежат еще папки плагинов, кеша, тем и картинок.

Очепятка. В папке wp-content

Disallow: /wp-content/

Роботс который Вы предлагаете, разрешает индексировать картинки только Яндексу, но не Гуглу. Также в разных источниках я читал, что нужно закрывать от индексации /xmlrpc.php, /cgi-bin, /wp-trackback, /wp-feed, /wp-comments, /archive, /author Лично у меня роботс такой (хотя возможно и в нём есть ошибки):

Код:

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /tag
Disallow: /archive
Disallow: /category
Disallow: /*trackback
Disallow: /*feed
Disallow: /*comments
Disallow: /*rss
Disallow: /author
Disallow: */comment-page
Disallow: /2012
Disallow: /*?
Host: site.ru

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /tag
Disallow: /archive
Disallow: /category
Disallow: /*trackback
Disallow: /*feed
Disallow: /*comments
Disallow: /*rss
Disallow: /author
Disallow: */comment-page
Disallow: /2012
Disallow: /*?
Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml

[MacLeo]

Gami, рубрики, в моем случае, не закрыты. Посмотрите внимательней, закрыты лишь страницы рубрик. Главная страница - доступна :)
MtvKat, никогда не закрывал, и смысла закрывать всю папку не вижу. Я закрыл тот файл что мне мешает.
krockki, с удовольствием послушаю Вас о пропущенных элементах в моем robots. Составил такой, так как уже так же не один год им вполне удачно пользуюсь и проблем никогда небыло :)
dmg.shark, да и вполне удачно, получаю трафик :)

ТС как и многие вебмастера забывает или не знает, что:

забыл, тут прокол :) Практически никогда не ставил, вот последнее время почему то начал ставить :)

Слеши в конце не нужны. Если написать Disallow: /wp-admin/ то это не запрещает индексирование Disallow: /wp-admin

Поправил

Роботс который Вы предлагаете, разрешает индексировать картинки только Яндексу, но не Гуглу.

Тоже поправил

[CherVal]

Некоторые предыдущие ТС и автор MacLeo советуют закрыть метки и рубрики (Disallow: /tag/* Disallow: /category/*/*), чего делать категорический не рекомендую. В моем случае, после закрытия, трафик с поисковиков уже через 10 дней упал на 30%. Рассчитывал, что восстановится, но чуда не произошло.

Роботс обычно составляют на заре создания сайта, а не через полгода, год... Точнее так нужно делать. Метки и категории - это дубли, а дубли поисковики не любят. Абсолютно очевидно, что когда создаётся новый сайт, то все дубли нужно пытаться закрыть.

---------- Сообщение добавлено 15:20 ---------- Предыдущее 15:06 ----------

MacLeo, спасибо за статью. У меня один вопрос, касающийся защиты сайта на WP. Довольно часто сайты на WP взламывают, пытаясь подобрать логин и пароль админа, либо же изменить электронный ящик, на который админка высылает пароль на сайт в случае его утери. Для начала взлома сайта хакеру нужна страница ввода логина-пароля или страница запроса нового пароля. Используя ваш файл robots.txt злоумышленник видит адреса этих страниц.

На своих проектах я всегда переименовываю стандартные адреса страниц входа в админку и запроса нового пароля и не прописываю их в роботсе. Зачем запрещать эти страницы к индексированию, если ссылок на них нигде нет? Как поисковик попадет на нее, чтобы проиндексировать?

Не подскажите как их переименовать? Всмысле как переименовать понятно, но где потом прописать новые адреса чтобы всё работало.
Я обычно прописываю блокировку доступа по ip в htaccess для директории wp-admin - после этого войти в site.ru/wp-admin можно только с моего ip. Если на сайте сделана регистрация/комментирование через какой-либо соц. плагин, кароче говоря если локальная регистрация пользователей не нужна - можно прописать также блокировку доступа по ip к файлу login.php
Кроме того можно установить плагин Limit Login Attempts или аналогичные.
Ещё можно через phpMyAdmin изменить admin на сложный набор букв (если вначале вы указали себя как "admin"). При этом на сайте при публикации материалов будет указываться ник автора, но не логин, который вы используете при входе в админку.
Но это всё не относится к robots.txt, поэтому подробно тут расписывать не буду.

[narolskay]

Проверила свой и обратила внимания, что у меня еще добавлен запрет на архив:
Disallow: /archive
Вы считаете, что не надо?

[MacLeo]

narolskay, можно ссылку на Ваш сайт в ЛС? Хотелось бы увидеть эти страницы :) Я не ставил их, так как у меня нет таких страниц

[narolskay]

Так и у меня вроде бы нет, а был шаблонный robots, автоматично загружала, спасибо что объяснили:)

[Gami]

Роботс обычно составляют на заре создания сайта, а не через полгода, год... Точнее так нужно делать. Метки и категории - это дубли, а дубли поисковики не любят. Абсолютно очевидно, что когда создаётся новый сайт, то все дубли нужно пытаться закрыть.

Больше года дубли висели и поисковики их кушали на ура! Тогда с какой стати свалился трафик? Мало того, были закуплены хорошие ссылки, это не помогло. Подожду месяца два-три, если изменений не произойдет, открою рубрики и метки, проверю Ваше утверждение.

[MacLeo]

Gami, достаточно часто пользователь с поиска попадает на страницу выдачи результатов по определенному тегу, это не удобно для искавшего так как ему придется еще раз искать на Вашем сайте среди результатов сортировки по одной из меток.
Метки выгодны в том случае, если Вы продаете ссылки с сайта в таких биржах как sape. Других плюсов я не вижу