Вопрос на форумы и поддержку Яндекса

(Ответов: 1, Просмотров: 304)
  1. Дипломник
    • Регистрация: 21.07.2014
    • Сообщений: 193
    • Репутация: 5
    Здравствуйте.

    Настроили логирование ошибок на сайте.
    Каждый день вижу сотни ошибок «404 Not Found».
    Кто-то проходит по несуществующим страницам.
    Параметр referrer (источник перехода) пуст, т.е. прямой переход.

    Проверил пару несуществующих URL (которые были в файле логов ошибок) и обнаружил что например в Яндексе таких страниц нет в индексе, но их регулярно обходят поисковой робот.
    https://yadi.sk/d/wbjf9PUZ3JYCUu

    Вопросы:
    1) Есть ли в Google аналогичный инструмент как в Яндексе «Проверить статус URL» https://yadi.sk/d/yvAVUuMp3JYCk6
    2) Можно ли массово (заданный список) проверить статусы страниц (Яндекс / Google). Через сервис, по API или еще как-то?
    3) Как сделать чтобы несуществующие страницы перестали обходиться роботом (Яндекс / Google)?
    4) Можно ли массово загрузить список несуществующих страниц, чтобы дать поисковику команду перестать обходить такие страницы (Яндекс / Google)?
    • 0
  2. Дипломник Аватар для Searchmechaniks
    • Регистрация: 04.10.2012
    • Сообщений: 191
    • Репутация: 34
    3.Закрыть в роботсе, если это возможно
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Вопрос о региональной выдаче яндекса
Yandex 5 09.05.2016 16:53
Вопрос про странности яндекса
Вопросы от новичков 6 21.03.2016 04:09
Пишем в поддержку Яндекса [АГС]
Оптимизация, SEO 2 08.03.2015 23:21
Вопрос к сайтам на копипасте. Заметили трудности входа в индекс Яндекса?
Вопросы от новичков 16 16.05.2013 19:01
Вопрос по поводу индексации Яндекса
Общие вопросы поисковой оптимизации 9 15.11.2012 18:43

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры