Вопрос на форумы и поддержку Яндекса

Здравствуйте.

Настроили логирование ошибок на сайте.

Каждый день вижу сотни ошибок «404 Not Found».

Кто-то проходит по несуществующим страницам.

Параметр referrer (источник перехода) пуст, т.е. прямой переход.

Проверил пару несуществующих URL (которые были в файле логов ошибок) и обнаружил что например в Яндексе таких страниц нет в индексе, но их регулярно обходят поисковой робот.

https://yadi.sk/d/wbjf9PUZ3JYCUu

Вопросы:

1) Есть ли в Google аналогичный инструмент как в Яндексе «Проверить статус URL» https://yadi.sk/d/yvAVUuMp3JYCk6

2) Можно ли массово (заданный список) проверить статусы страниц (Яндекс / Google). Через сервис, по API или еще как-то?

3) Как сделать чтобы несуществующие страницы перестали обходиться роботом (Яндекс / Google)?

4) Можно ли массово загрузить список несуществующих страниц, чтобы дать поисковику команду перестать обходить такие страницы (Яндекс / Google)?