ХЭЛП!!! помогите с Googl...

[aeneas]

Приветствую, проблема есть помогите чтоли )
в общем в robots.txt как известно надо закрывать от индексации всякую ерунду
мой robots.txt такой -
User-Agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: мойсайт.ru
Sitemap: http://мойсайт.ru/sitemap.xml

все лишнее закрыто и никаких лишних строчек тут ненадо больше по сути, всякие теги и так далее закрывает нормально плагин СЕО

но столкнулся с проблемой -
http://мойсайт.ru/wp-content/plugins....css?ver=4.2.2 - Таблица стилей - Заблокировано

т.е. Googlebot не получает стили, ява скрипты с закрытых папок и начинает ругаться что страница неправильно отображается, то ширина экрана большая (прокрутка), то ссылки слишком блико и т.д.

я погуглил, нашел много вариантов роботса якобы "правильного", например с такой строчкой -
Disallow: /wp-content/plugins
почему то практически все и везде закрывают папку /plugins/
но как раз в плагинах кучи всяких этих css и js
не только в плагинах, а вообще все барахло что не может получить Googlebot в папке wp-content которая у меня вся закрыта
можно конечно всю и не закрывать, а выборочно как советуют "правильные" роботсы
но папка с плагинами все равно будет вся закрыта, а там они тоже есть скрипты и таблицы

как быть ?
проблема в том что сам гугл пишет что из за этого мы мол будет плохо ваш сайт ранжировать (

[Rekudo]

Вот попробуй так:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages/
Disallow: /wp-content/logs/
Disallow: /wp-content/plugins/
Disallow: /wp-content/upgrade/
Disallow: /tag/
Disallow: /page/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed
Disallow: /?s=
Disallow: /?author
Disallow: /?attachment
Disallow: /?goto
Disallow: /?tag
Disallow: /?m

---------- Сообщение добавлено 19:45 ---------- Предыдущее 19:44 ----------

Ой строчку там где плагин убери.

[aeneas]

Rekudo, а вдруг плагины надо закрыть )) да и остальные лишние строчки то зачем типа -
Disallow: /tag/
Disallow: /page/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed
Disallow: /?s=
Disallow: /?author
Disallow: /?attachment
Disallow: /?goto
Disallow: /?tag
Disallow: /?m

все это норм закрывается WordPress SEO by Yoast
у меня сайт есть новенький, вот стоит роботс такой как я выше написал
так вот на сайте 62 поста и 3 страницы и ТОЛЬКО они в индексе, ничего больше нет лишнего

ладно, щас не о том речь, зачем мне менять свой robots.txt на ваше ? )) у меня проблема в другом...
если только плагинов папку убрать то достаточно так дописать -

User-Agent: *
Allow: /wp-content/uploads
Allow: /wp-content/plugins
Disallow: /wp-
Host: мойсайт.ru
Sitemap: http://мойсайт.ru/sitemap.xml

но зачем то же эту папку с плагинами надо же закрывать то...

зачем ? ))

---------- Сообщение добавлено 01:01 ---------- Предыдущее 00:56 ----------

/wp-content/plugins/easy-vkontakte-connect/css/social-likes_birman.css?ver=4.2.2
пооткрывать чтоли всю такую беду... а вдруг нельзя

[Rekudo]

Ну а зачем чтобы она индексировалась?
Закройте тогда все плагины кроме easy-vkontakte-connect

А эти строчки не лишние!

[aeneas]

Ну а зачем чтобы она индексировалась?
Закройте тогда все плагины кроме easy-vkontakte-connect

А эти строчки не лишние!

лишние )))

насчет закрыть все кроме easy-vkontakte-connect - это я один пример ток привел )) там таких штук 40 с разных мест )

[aeneas]

насчет конструкций типа -
Disallow: /?author
Disallow: /?attachment
Disallow: /?goto
Disallow: /?tag
у меня нет таких ссылок просто, у меня включен ЧПУ, зачем строчки то ненужные )
для интереса воткнул сейчас и так и сяк вот как то что то с этим - ?tag - кидает на главную

меня вот что смущает -
https://yoast.com/wordpress-robots-txt-example/
тут текст такой -
So, what should be in your WordPress robots.txt? Ours is very clean now. The only thing we still block is our /out/ directory for our affiliate links, as discussed in this post. We no longer block our /wp-content/plugins/ directory, as plugins might output JavaScript or CSS that Google needs to render the page, nor do we block our /wp-includes/ directory, as the default JavaScripts that come with WordPress, which many a theme uses, come from these directories.

английский не знаю, может кто знает переведет ?
гугл переводчик сильно коряво перевел, но как понял сейчас закрывать папку /wp-content/ типа неактуально уже ? типа пережиток прошлого ?

этот плагин по умолчанию создал файл роботса таким -
User-agent: *
Disallow: /wp-admin/

и все...
может так и надо, дописать туда сайтмап и хост и все...
хз кто что думает ? только обоснованно а не просто что надо и все по старому

конечно все это актуально если используется плагин СЕО, если нет то наверное такая конструкция совсем не правильный вариант
я как понимаю плагин вставляет в ненужные для индексации страницы такое вот -
<meta name="robots" content="noindex, follow"/>
то зачем это еще дублировать в robots.txt ? как понимаю на всякий случай просто, типа "а вдруг"

хз поставил так -
мойсайт.ру/tag/
на выходе получил - Извините страница не найдена
скорее всего ваш robots.txt только для вашего сайта работает нормально, на моем там почти все мусор ненужный, сорь

попробую как говорит SEO by Yoast сделать, открою папку /wp-content/ пусть гуглбот подавиться ))
сайт только делать начал, погляжу на результат

[NightHawk]

Зачем всю папку /wp-content/ открывать, кидаете ее в Disallow и прописываете чуть ниже конструкцию Allow: /wp-content/themes/НазваниеТемы/
Для вашего плагина со стилями можно сделать точно такую же allow конструкцию. Таким образом вы откроете для бота файлы стилей.

"User-agent: *
Disallow: /wp-admin/

и все...
может так и надо, дописать туда сайтмап и хост и все..."

И сделать отдельный свод правил для каждого из роботов (яндекса и гугла).

[aeneas]

NightHawk, а зачем ? прочтите тут https://yoast.com/wordpress-robots-txt-example/
я гугл переводчиком всю статью прочел, понял все "между строк", но вроде как счас на все это "пофик"
все ненужные для индексации страницы плагин закрывает тегом в самой странице, в роботсе дублировать - лишнее
по крайней мере я так понял
нужен кто то кто англ знает )) чтобы правильно там все понять
вот свод для яндекса может и нужен, но опять же спорный вопрос - помоему для яндекса нужно только одно - указание host не более, т.е. какая главная с www или без нее, остальное то дублируется все для него

почем нельзя сделать так -
User-Agent: *
что то там закрытое
Host: мойсайт.ru
???

зачем для него ОТДЕЛЬНО прописывать -
User-Agent: yandex
что то там закрытое
Host: мойсайт.ru
????

в чем смысл этого ?
ведь директива User-Agent: * означает для всех, нафига отдельное что то мутить ?
может я конечно что то не понимаю...
к чему исхитряться конструкциями выдумывать их?

[aeneas]

сорь, ночью подтупливал спорил
все это нормально только если стоит SEO by Yoast
если у вас он не стоит то придется конечно извращаться

но есть одно но... поглядите в гугле вебмастерс на своих сайтах если папки эти в роботсе закрыты у вас он тоже будет кричать, а там где то написано было мол из за того что гуглботу что то не дают он начинает считать "по своему" отображение страниц для пользователя, не совпадающее с настоящим
и соответственно будет понижать в ранжировании
так что эта фигня как бы одна из критичных сейчас
он в общем то должен для "своей" вырисовки страниц иметь к этим css и js доступ, если не имеет он "рисует" страницу без их учета и начинает "думать" что разметка кривая и начинает "возмущаться" и типа Гсайт с кривым кодом