Artisan
Пишу программы для вычислительных машин, от драйверов устройств, до сложных систем для работы с большим количеством знаний. Умею бережно использовать железо, и другие ресурсы. Образец изделия: ( www.leak.info ) / изучайте ДАРОМ входящие указатели конкурентов и забытых доменов. Бесплатный обучающий курс (на русском языке) про это изделие: stepik.org/278486
Artisan
За Вами очередь... :D
А я давно толком не фотографировался, ...
начальство требует,
Начальство надо учить и воспитывать, ...
Сильно ли словоформы результата влияют на релевантность?
Это очень зависит от подготовки Вашей целевой аудитории и умения использовать язык запросов системы.
http://www.repairfaq.org/filipg/LINK/F_crc_v3.html
http://www.repairfaq.org/filipg/LINK/F_crc_v31.html
"fixed binary number" о котором здесь написано и есть магическое число о котором я писал выше а у остатка от деления всегда есть перекос то есть он не равновероятен для случайных исходных данных, но еще раз повторяю что на самом деле все еще хуже и любой хэш алгоритм надо правильно применять и понимать где хэширование может дать результат далекий от ожидаемого.
Google при поиске в русском скорее всего определяет язык по кодировке страницы, что к домену или IP адресу не имеет никакого отношения, а на одном IP адресе может хоститься десятки тысяч сайтов с доменами из любых разных стран и при этом сам IP адрес может быть выделен организации которая находится в стране не имеющей никакого отношения к доменам сайтов которые хостятся на этом IP адресе.
А при чем здесь IP адреса вообще? Любой RU домен может хоститься не только в России а и где угодно то есть IP адрес у него как Россия не будет определяться.
Возьмите от FreeBSD например исходники утилиты whois а там запросы к whois серверам что скорее всего как раз то что надо.
Объем данных конечно немеряный, так что если в лоб так делать не хватает ресурсов, то надо искать способы что-то выкинуть.
Можно хранить в хэш корзинах только малое число указателей на страницы а те корзины где их получится слишком много просто не учитывать потому что скорее всего они соответствуют фрагментам текстов которые часто встречаются на многих разных сайтах типа "добро пожаловать" и другим стандартным фразам.
Как правильно отметил Interitus лучше брать частичные хэши а так как их много то для скорости проверять только счетчики тех страниц которые попадают в корзину одинаковых хэшей.
Зачем так сложно? Сделайте массив в котором на местах зависящих от хэша будут номера счетчиков и сравнивайте страницы в этих корзинах.