ХЭЛП!!! помогите с Googlebot и robots.txt

(Ответов: 8, Просмотров: 1469)
  1. Гуру Аватар для aeneas
    • Регистрация: 24.12.2014
    • Сообщений: 879
    • Репутация: 115
    • Webmoney BL: ?
    Приветствую, проблема есть помогите чтоли )
    в общем в robots.txt как известно надо закрывать от индексации всякую ерунду
    мой robots.txt такой -
    User-Agent: *
    Allow: /wp-content/uploads
    Disallow: /wp-
    Host: мойсайт.ru
    Sitemap: http://мойсайт.ru/sitemap.xml

    все лишнее закрыто и никаких лишних строчек тут ненадо больше по сути, всякие теги и так далее закрывает нормально плагин СЕО

    но столкнулся с проблемой -
    http://мойсайт.ru/wp-content/plugins....css?ver=4.2.2 - Таблица стилей - Заблокировано

    т.е. Googlebot не получает стили, ява скрипты с закрытых папок и начинает ругаться что страница неправильно отображается, то ширина экрана большая (прокрутка), то ссылки слишком блико и т.д.

    я погуглил, нашел много вариантов роботса якобы "правильного", например с такой строчкой -
    Disallow: /wp-content/plugins
    почему то практически все и везде закрывают папку /plugins/
    но как раз в плагинах кучи всяких этих css и js
    не только в плагинах, а вообще все барахло что не может получить Googlebot в папке wp-content которая у меня вся закрыта
    можно конечно всю и не закрывать, а выборочно как советуют "правильные" роботсы
    но папка с плагинами все равно будет вся закрыта, а там они тоже есть скрипты и таблицы

    как быть ?
    проблема в том что сам гугл пишет что из за этого мы мол будет плохо ваш сайт ранжировать (
    • 0
  2. Banned
    • Регистрация: 15.07.2012
    • Сообщений: 106
    • Репутация: 13
    Вот попробуй так:

    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/languages/
    Disallow: /wp-content/logs/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/upgrade/
    Disallow: /tag/
    Disallow: /page/
    Disallow: /feed/
    Disallow: */feed/
    Disallow: /?feed
    Disallow: /?s=
    Disallow: /?author
    Disallow: /?attachment
    Disallow: /?goto
    Disallow: /?tag
    Disallow: /?m

    ---------- Сообщение добавлено 19:45 ---------- Предыдущее 19:44 ----------

    Ой строчку там где плагин убери.
    • 0
  3. Гуру Аватар для aeneas
    • Регистрация: 24.12.2014
    • Сообщений: 879
    • Репутация: 115
    • Webmoney BL: ?
    Rekudo, а вдруг плагины надо закрыть )) да и остальные лишние строчки то зачем типа -
    Disallow: /tag/
    Disallow: /page/
    Disallow: /feed/
    Disallow: */feed/
    Disallow: /?feed
    Disallow: /?s=
    Disallow: /?author
    Disallow: /?attachment
    Disallow: /?goto
    Disallow: /?tag
    Disallow: /?m

    все это норм закрывается WordPress SEO by Yoast
    у меня сайт есть новенький, вот стоит роботс такой как я выше написал
    так вот на сайте 62 поста и 3 страницы и ТОЛЬКО они в индексе, ничего больше нет лишнего

    ладно, щас не о том речь, зачем мне менять свой robots.txt на ваше ? )) у меня проблема в другом...
    если только плагинов папку убрать то достаточно так дописать -

    User-Agent: *
    Allow: /wp-content/uploads
    Allow: /wp-content/plugins
    Disallow: /wp-
    Host: мойсайт.ru
    Sitemap: http://мойсайт.ru/sitemap.xml

    но зачем то же эту папку с плагинами надо же закрывать то...

    зачем ? ))

    ---------- Сообщение добавлено 01:01 ---------- Предыдущее 00:56 ----------

    /wp-content/plugins/easy-vkontakte-connect/css/social-likes_birman.css?ver=4.2.2
    пооткрывать чтоли всю такую беду... а вдруг нельзя
    • 0
  4. Banned
    • Регистрация: 15.07.2012
    • Сообщений: 106
    • Репутация: 13
    Ну а зачем чтобы она индексировалась?
    Закройте тогда все плагины кроме easy-vkontakte-connect

    А эти строчки не лишние!
    • 0
  5. Гуру Аватар для aeneas
    • Регистрация: 24.12.2014
    • Сообщений: 879
    • Репутация: 115
    • Webmoney BL: ?
    Цитата Сообщение от Rekudo Посмотреть сообщение
    Ну а зачем чтобы она индексировалась?
    Закройте тогда все плагины кроме easy-vkontakte-connect

    А эти строчки не лишние!
    лишние )))

    насчет закрыть все кроме easy-vkontakte-connect - это я один пример ток привел )) там таких штук 40 с разных мест )
    • 0
  6. Гуру Аватар для aeneas
    • Регистрация: 24.12.2014
    • Сообщений: 879
    • Репутация: 115
    • Webmoney BL: ?
    насчет конструкций типа -
    Disallow: /?author
    Disallow: /?attachment
    Disallow: /?goto
    Disallow: /?tag
    у меня нет таких ссылок просто, у меня включен ЧПУ, зачем строчки то ненужные )
    для интереса воткнул сейчас и так и сяк вот как то что то с этим - ?tag - кидает на главную

    меня вот что смущает -
    https://yoast.com/wordpress-robots-txt-example/
    тут текст такой -
    So, what should be in your WordPress robots.txt? Ours is very clean now. The only thing we still block is our /out/ directory for our affiliate links, as discussed in this post. We no longer block our /wp-content/plugins/ directory, as plugins might output JavaScript or CSS that Google needs to render the page, nor do we block our /wp-includes/ directory, as the default JavaScripts that come with WordPress, which many a theme uses, come from these directories.

    английский не знаю, может кто знает переведет ?
    гугл переводчик сильно коряво перевел, но как понял сейчас закрывать папку /wp-content/ типа неактуально уже ? типа пережиток прошлого ?

    этот плагин по умолчанию создал файл роботса таким -
    User-agent: *
    Disallow: /wp-admin/

    и все...
    может так и надо, дописать туда сайтмап и хост и все...
    хз кто что думает ? только обоснованно а не просто что надо и все по старому

    конечно все это актуально если используется плагин СЕО, если нет то наверное такая конструкция совсем не правильный вариант
    я как понимаю плагин вставляет в ненужные для индексации страницы такое вот -
    <meta name="robots" content="noindex, follow"/>
    то зачем это еще дублировать в robots.txt ? как понимаю на всякий случай просто, типа "а вдруг"

    хз поставил так -
    мойсайт.ру/tag/
    на выходе получил - Извините страница не найдена
    скорее всего ваш robots.txt только для вашего сайта работает нормально, на моем там почти все мусор ненужный, сорь

    попробую как говорит SEO by Yoast сделать, открою папку /wp-content/ пусть гуглбот подавиться ))
    сайт только делать начал, погляжу на результат
    • 0
  7. Опытный Аватар для NightHawk
    • Регистрация: 12.08.2011
    • Сообщений: 467
    • Репутация: 152
    Зачем всю папку /wp-content/ открывать, кидаете ее в Disallow и прописываете чуть ниже конструкцию Allow: /wp-content/themes/НазваниеТемы/
    Для вашего плагина со стилями можно сделать точно такую же allow конструкцию. Таким образом вы откроете для бота файлы стилей.

    "User-agent: *
    Disallow: /wp-admin/

    и все...
    может так и надо, дописать туда сайтмап и хост и все..."

    И сделать отдельный свод правил для каждого из роботов (яндекса и гугла).
    Юзаю этот хостинг с приятными ценами
    • 0
  8. Гуру Аватар для aeneas
    • Регистрация: 24.12.2014
    • Сообщений: 879
    • Репутация: 115
    • Webmoney BL: ?
    NightHawk, а зачем ? прочтите тут https://yoast.com/wordpress-robots-txt-example/
    я гугл переводчиком всю статью прочел, понял все "между строк", но вроде как счас на все это "пофик"
    все ненужные для индексации страницы плагин закрывает тегом в самой странице, в роботсе дублировать - лишнее
    по крайней мере я так понял
    нужен кто то кто англ знает )) чтобы правильно там все понять
    вот свод для яндекса может и нужен, но опять же спорный вопрос - помоему для яндекса нужно только одно - указание host не более, т.е. какая главная с www или без нее, остальное то дублируется все для него

    почем нельзя сделать так -
    User-Agent: *
    что то там закрытое
    Host: мойсайт.ru
    ???

    зачем для него ОТДЕЛЬНО прописывать -
    User-Agent: yandex
    что то там закрытое
    Host: мойсайт.ru
    ????

    в чем смысл этого ?
    ведь директива User-Agent: * означает для всех, нафига отдельное что то мутить ?
    может я конечно что то не понимаю...
    к чему исхитряться конструкциями выдумывать их?
    • 0
  9. Гуру Аватар для aeneas
    • Регистрация: 24.12.2014
    • Сообщений: 879
    • Репутация: 115
    • Webmoney BL: ?
    сорь, ночью подтупливал спорил
    все это нормально только если стоит SEO by Yoast
    если у вас он не стоит то придется конечно извращаться

    но есть одно но... поглядите в гугле вебмастерс на своих сайтах если папки эти в роботсе закрыты у вас он тоже будет кричать, а там где то написано было мол из за того что гуглботу что то не дают он начинает считать "по своему" отображение страниц для пользователя, не совпадающее с настоящим
    и соответственно будет понижать в ранжировании
    так что эта фигня как бы одна из критичных сейчас
    он в общем то должен для "своей" вырисовки страниц иметь к этим css и js доступ, если не имеет он "рисует" страницу без их учета и начинает "думать" что разметка кривая и начинает "возмущаться" и типа Гсайт с кривым кодом
    Последний раз редактировалось aeneas; 06.06.2015 в 07:10.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Помогите разобраться почему googlebot для смартфона не видит главную страницу
Google 0 06.12.2012 12:41
помогите закрыть страницу в robots.txt
Web программирование 3 29.03.2012 16:03
Помогите с robots.txt для DLE
Web программирование 13 29.01.2012 15:09
Помогите составить robots.txt
Вопросы от новичков 4 09.11.2011 18:07
Помогите разобраться с robots.txt
Web программирование 10 20.08.2011 23:37

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры