[Демиург]

Собственно, некоторое время назад на шикарно индексируемом сайте возникли проблемы: при добавлении новых страниц в сервис "Посмотреть как гуглбот" начало вылазить предупреждение "HTTP/1.1 301 Moved Permanently". Но гораздо чаще при добавлении страниц в этот сервис и вовсе вылазит ошибка, в то время как на других сайтах всё ок.

Начитался я, что это может быть из-за того что страницы дублируются благодаря рсс, и этот самый рсс отключил - ничего не изменилось. Рсс вернул, но теперь при попытке использовать Жукладочник вылазит предупреждение об ошибке в XML - в общем, не может Жук получить мою рсс-ленту.

Более того, те самые новые страницы в поиск не попадают, зато попадают они же с адресом .../feed, т.е. именно рсс-версия. При этом сниппет всех этих страниц звучит так: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...". Что интересно, настройки самого роботса никак не влияют ни на что: я менял директивы для Гуглбота, убирал их вовсе, и даже совсем файл удалял с фтп - ничего не меняется.

С Яшей никаких проблем не наблюдается, тьфу-тьфу-тьфу.

Оплата сдельная по факту решения проблем.

[Vladimir-AWM]

А ты добавляешь туда случайно не зеркала страниц? Попробуй посмотреть с www или без www. Если не поможет, кидай адрес сайта и адреса страниц, которые пытался смотреть "как гуглбот", в ЛС.

Так же можно еще сравнить адреса сайта в админке WP и директивой Host в robots.txt

[reset]

Демиург, robots.txt покажите.

[Демиург]

А ты добавляешь туда случайно не зеркала страниц?

В конфиге прописан адрес с www, через гуглбот смотрю с www. В настройках ГВМ основное зеркало определено тоже с www, равно как и в роботс.

Так же можно еще сравнить адреса сайта в админке WP и директивой Host в robots.txt

Они идентичны :)

Демиург, robots.txt покажите.

На данный момент он выглядит так:

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-admin/*
Disallow: /wp-includes/
Disallow: /wp-trackback/
Disallow: /wp-feed/
Disallow: /wp-comments/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag/
Disallow: /category/
Disallow: /archive/
Disallow: */*/feed/
Disallow: /?feed=
Disallow: /?s=
Allow: /

User-agent: Googlebot
Allow: /wp-content/uploads/
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-admin/*
Disallow: /wp-includes/
Disallow: /wp-trackback/
Disallow: /wp-feed/
Disallow: /wp-comments/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag/
Disallow: /category/
Disallow: /archive/
Disallow: */*/feed/
Disallow: /?feed=
Disallow: /?s=
Allow: /

Sitemap: http://www.domain.zone/sitemap.xml
Host: www.domain.zone

Но, как я уже говорил, я его даже полностью убирал, а ситуация не менялась. Более того, вчера добавил новую страницу, на которой есть плагин фотогалереи nggpage. Собственно, .../?nggpage=2 проиндексировался, а основная страница - нет. В качестве сниппета вновь появилось предупреждение "Описание веб-страницы недоступно из-за ограничений в файле robots.txt."

Кстати, "Гуглбот" иногда пропускает страницы, но в основном всё же бракует. Да и в индекс они не попадают. Да, речь идёт в первую очередь о ссылках вида www.domain.zone/*/*.



Для сравнения - другой сайт на Вордпрессе (там где "не найдено" - я просто перепутал домен, и подсовывал чужую страницу).



Ещё раз повторюсь - ранее проблем не было никаких, буквально до начала осени всё было хорошо, а возникли они на ровном месте.

---------- Сообщение добавлено 12:43 ---------- Предыдущее 12:09 ----------

Да, ещё один момент. Нагуглил инфу о том, что 301-й редирект возникает из-за того, что получается две идентичные страницы - с адресом без слэша в конце и с адресом со слэшем. Во избежание проблем рекомендуют прописать в functions.php темы строку "remove_action('template_redirect', 'redirect_canonical');", что я и сделал. О 301-й ошибке Гуглбот говорить перестал, но новые посты в индекс не попадают, а ошибку при попытке просмотра как гуглбот продолжает выдавать.

[Демиург]

Спасибо AntoXa за помощь в решении проблемы с рсс. 301-ю ошибку считаем исправил я сам. Осталось то, что гуглбот не видит мои страницы... Ну и, соответственно, индексирует совершенно не то, что указано в роботс.