robots.txt ругается гугл

(Ответов: 6, Просмотров: 963)
  1. Опытный Аватар для Gradus
    • Регистрация: 03.11.2013
    • Сообщений: 484
    • Репутация: 51
    Доброго времени суток
    Пришло письмо от гугла пишут следующее

    Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

    Мой robots.txt

    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /webstat/
    Disallow: /*feed
    Disallow: /*trackback
    Disallow: /*comments
    Disallow: /*?
    Disallow: /*page
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache
    Disallow: /counter/
    Disallow: /xmlrpc.php
    Host: _http://мой сайт/

    Sitemap: _http://мой сайт/sitemap.xml
    Sitemap: _http://мой сайт/sitemap.xml.gz

    На мой взгляд все нормально нечего не обычного вроде как доступ боту гугла не заблокирован кто то с таким сталкивался ? подскажите что не так ?
    • 0
  2. Qui dicit eam omnia Аватар для Coder
    • Регистрация: 29.01.2015
    • Сообщений: 818
    • Репутация: 298
    Посмотрите здесь: _http://webmasters.ru/forum/f4/novye-trebovaniya-google-dostup-k-failam-css-i-js-68349/?f=4
    • 1

    Спасибо сказали:

    Gradus(04.08.2015),
  3. SEO специалист Аватар для hammer8
    • Регистрация: 14.05.2012
    • Сообщений: 2,819
    • Репутация: 529
    • Webmoney BL: ?
    Цитата Сообщение от Gradus Посмотреть сообщение
    Disallow: /wp-content/themes
    Нужно открыть доступ к темам.
    • 1

    Спасибо сказали:

    Gradus(04.08.2015),
  4. Гуру
    • Регистрация: 12.12.2011
    • Сообщений: 505
    • Репутация: 107
    Цитата Сообщение от hammer8 Посмотреть сообщение
    Нужно открыть доступ к темам
    не только, нужно открыть доступ к файлам css и js, а они не только в папке themes
    посмотрите здесь: http://creativepro.ru/seo/googlebot-css-js.htm
    Последний раз редактировалось creativepro; 03.08.2015 в 22:11.
    Быстрый SSD хостинг от Fozzy
    • 1

    Спасибо сказали:

    Gradus(04.08.2015),
  5. Опытный Аватар для Gradus
    • Регистрация: 03.11.2013
    • Сообщений: 484
    • Репутация: 51
    А вот в реалии как думаете сколько времени дается на исправление ошибок ..до момента занижения позиций сайта ?
    Интересно может кто то знает ?

    ---------- Сообщение добавлено 10:16 ---------- Предыдущее 09:28 ----------

    Спасибо всем кто подсказал что да к чему .
    Сделал я новый фаил может кто подскажет ?нормально либо не очень ?
    Некоторые ..папки .. я закрытыми оставил поскольку появлялись непонятные страницы в поиске нежелательные

    для сравнения

    1) старый файл

    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /webstat/
    Disallow: /*feed
    Disallow: /*trackback
    Disallow: /*comments
    Disallow: /*?
    Disallow: /*page
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache
    Disallow: /counter/
    Disallow: /xmlrpc.php
    Host: _http://мой сайт/

    Sitemap: _http://мой сайт/sitemap.xml
    Sitemap: _http://мой сайт/sitemap.xml.gz

    2) новый файл

    User-agent: *
    Allow: /wp-content/uploads
    Allow: /*/*/*/*/*.css
    Allow: /*/*/*.css
    Allow: /*/*/*.js
    Disallow: /wp-
    Disallow: /webstat/
    Disallow: /*feed
    Disallow: /*trackback
    Disallow: /*comments
    Disallow: /*?
    Disallow: /*page
    Disallow: /xmlrpc.php
    Host: _http://мой сайт/

    Sitemap: _]http://мой сайт/sitemap.xm

    Как вы думаете сойдет по идее нормально должно быть вроде как .
    • 0
  6. Qui dicit eam omnia Аватар для Coder
    • Регистрация: 29.01.2015
    • Сообщений: 818
    • Репутация: 298
    Цитата Сообщение от Gradus Посмотреть сообщение
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Где-то было - если проверку на открытость в ВМ гугла не проходит (в письме у вас должна быть ссылка), то эти нужно открыть.
    • 1

    Спасибо сказали:

    Gradus(05.08.2015),
  7. Студент Аватар для Olejio
    • Регистрация: 22.11.2013
    • Сообщений: 34
    • Репутация: 9
    У меня тоже была такая проблема, решаеться просто, тем более Гугл дает советы как это исправить. Если кому-то надо написал инструцию
    • 1

    Спасибо сказали:

    Gradus(05.08.2015),

Похожие темы

Темы Раздел Ответов Последний пост
Как заставить гугл скачать новый robots.txt
Общие вопросы поисковой оптимизации 8 27.09.2013 15:32
Google ругается...
Google 2 10.03.2013 19:47
Опять что-то Яша ругается на webmasters
Оффтоп и свободные темы 3 23.09.2012 23:27
Гугл и robots.txt. Запрещено, но... разрешено??
Google 11 11.03.2012 21:04
Мой Аваст ругается на Webmasters
Обсуждение форума и ваши предложения 2 02.03.2012 04:45

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры