[rownong]

Здравствуйте.

Настроили логирование ошибок на сайте.
Каждый день вижу сотни ошибок «404 Not Found».
Кто-то проходит по несуществующим страницам.
Параметр referrer (источник перехода) пуст, т.е. прямой переход.

Проверил пару несуществующих URL (которые были в файле логов ошибок) и обнаружил что например в Яндексе таких страниц нет в индексе, но их регулярно обходят поисковой робот.
https://yadi.sk/d/wbjf9PUZ3JYCUu

Вопросы:
1) Есть ли в Google аналогичный инструмент как в Яндексе «Проверить статус URL» https://yadi.sk/d/yvAVUuMp3JYCk6
2) Можно ли массово (заданный список) проверить статусы страниц (Яндекс / Google). Через сервис, по API или еще как-то?
3) Как сделать чтобы несуществующие страницы перестали обходиться роботом (Яндекс / Google)?
4) Можно ли массово загрузить список несуществующих страниц, чтобы дать поисковику команду перестать обходить такие страницы (Яндекс / Google)?

[Searchmechaniks]

3.Закрыть в роботсе, если это возможно