"Нормальный" бот от (archive.org) белой и пушистой конторы не учитывает.
https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/
На странице с адресом выше пояснение.
Объявите себя аналитиком, и смотрите статистику для чужих сайтов.
Да, может, и принесёт.
Вы отстали от действительности.
Ниже образец поискового запроса для дальнейшего чтения.
"ipv6 only" internet providers
Возможно, уже никак. Иншалла. Пути господни неисповедимы.
Вы не ответили на вопрос. Что надо от других сервисов, чего нет в существующем сервисе? Халявы, цены, возможностей, скорости, надёжности, доступности, что ещё надо для счастья? Я могу сделать такой сервис, но есть ли смысл суетиться?
А попутно заблокируются пользователи, которые ходят через прокси, и полезные роботы, которые могут ходить с разных мест, с разными User-Agent названиями, и дальше по списку.