[son185]

День добрый. Я довольно юн в этой теме.

Делая очередной сайт я задумался что не плохо к нему сразу прикрутить SSL сертификат
Тоесть при создание сайт сразу начинал жить под https://

Но яндекс ругается на robot пишет в вебмастере следующие "Сервер отвечает редиректом на запрос /robots.txt"
ROBOTS

Код HTML:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Host: https://какойто сайт/
 
User-agent: Googlebot
Allow: *.css
Allow: *.js
Allow: /wp-includes/*.js
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Disallow: /*?
 
Sitemap: https://какой то сайт/sitemap.xml

В Htacces

Код HTML:

RewriteEngine on
RewriteCond %{HTTP:HTTPS} !=on [NC]
RewriteRule ^(.*)$ https://какойто.сайт/$1 [R=301,L]
SetEnvIf X-Forwarded-Proto https HTTPS=on
php_value max_execution_time 300
php_value max_input_vars 1500
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]

[/HTML]

При запросе яндекс выдаёт так

Код HTML:

Код статуса HTTP	301 Moved Permanently
Время ответа сервера	13 мс
IP сайта	**.***.***.247
Размер страницы	346 Б
Server: nginx/1.9.12
Date: Thu, 09 Mar 2017 06:10:33 GMT
Content-Type: text/html; charset=iso-8859-1
Content-Length: 346
Connection: keep-alive
Keep-Alive: timeout=10
Location: https://какойтосайт/
Содержимое страницы отсутствует

Собственно вопрос, что я сделал не правильно? и почему яндекс ругается на robots.txt

[nn165m]

директивы host нет в robots.

[west0293]

nn165m, есть, посмотрите внимательнее.

son185, Яндекс же написал:

"Сервер отвечает редиректом на запрос /robots.txt"

Насколько я знаю, файл robots.txt должен быть доступен и по http и по https (с одинаковым содержимым), а у вас, видимо, идет редирект и для роботса.

Попробуйте явно посмотреть http://site.ru/robots.txt. Если редиректит на https, то проблема в этом.

P.S. Я для Wordpress обычно делаю такой .htaccess, и всё нормально работает и индексируется:

Код:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /

RewriteCond %{SERVER_PORT} !^443$ 
RewriteRule ^(.*)$ https://САЙТ.ru/$1 [R=301,L]

RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

У вас, скорее всего, проблема в строке:

Код:

SetEnvIf X-Forwarded-Proto https HTTPS=on

[nn165m]

структура роботс не совсем правильная...

а для решения проблемы..

Для исправления данной ошибки необходимо задать правила перенаправления с исключениями. Выглядеть это будет так:


RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !robots\.txt
RewriteCond %{SERVER_PORT} !^443$
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R,L]
и, соответственно,

RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !robots\.txt
RewriteCond %{HTTP:X-Forwarded-Protocol} !=https
RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]