Artisan

Google при поиске в русском скорее всего определяет язык по кодировке страницы, что к домену или IP адресу не имеет никакого отношения, а на одном IP адресе может хоститься десятки тысяч сайтов с доменами из любых разных стран и при этом сам IP адрес может быть выделен организации которая находится в стране не имеющей никакого отношения к доменам сайтов которые хостятся на этом IP адресе.

А при чем здесь IP адреса вообще? Любой RU домен может хоститься не только в России а и где угодно то есть IP адрес у него как Россия не будет определяться.

Возьмите от FreeBSD например исходники утилиты whois а там запросы к whois серверам что скорее всего как раз то что надо.

Можно хранить в хэш корзинах только малое число указателей на страницы а те корзины где их получится слишком много просто не учитывать потому что скорее всего они соответствуют фрагментам текстов которые часто встречаются на многих разных сайтах типа "добро пожаловать" и другим стандартным фразам.

Как правильно отметил Interitus лучше брать частичные хэши а так как их много то для скорости проверять только счетчики тех страниц которые попадают в корзину одинаковых хэшей.

Зачем так сложно? Сделайте массив в котором на местах зависящих от хэша будут номера счетчиков и сравнивайте страницы в этих корзинах.

А если бы сделал META метками то уже давно бы все работало как надо без лишних хлопот, ...

А если бы еще письма о регистрации всем приходили то данный код поставили бы еще больше ресурсов, и вообще зачем так жестко привязываться к почте, вполне достаточно номера и кода с ним которые можно выдать на странице подтверждения регистрации, ...

Не так чтобы постоянно но время от времени разные сайты на разные почтовые адреса, а письма о регистрации не приходят, и в итоге регистрация которая в этом рейтинге жестко привязана к почте вообще не получается. Сейчас попробую зарегистрировать сайт и пришлю все что есть по этому поводу.

Про скорость я уже писал выше а ключевое слово здесь "обычно" и автор совсем не лукавит а правильно понимает задачу но вот где именно это "обычно" не может применяться как раз и есть знания которые не для широкой публики.