Команда сервиса Megaindex сообщила о скором запуске технологии автоматического поиска зеркал, что позволит очистить индекс от бесполезных ссылок.
Выявление зеркал работает на основе алгоритма SimHash. Алгоритм позволяет быстро находить сайты с идентичным контентом. Индексатор Megaindex в автоматическом режиме считает главным зеркалом тот домен, на который стоит подавляющее большинство внешних ссылок.
В настоящий момент в базе Megaindex содержится информация только по 10% зеркал, полное обновление базы займет еще около трех недель. Однако, уже сейчас пользователи системы могут видеть записи о том, что сайт является зеркалом к основному домену:
В дальнейшем сайты-зеркала, которые в настоящий момент составляют 60% индекса, будут индексироваться в меньшем объеме или вовсе будут из индекса исключены. Исключение зеркал позволит сервису Megaindex использовать освобожденные ресурсы для увеличения полноты индекса и увеличения скорости его обновления. Также это уменьшит нагрузку для серверов, которые отдают содержимое сайтов, что плодотворно скажется на всей экосистеме интернета.
Напомним, в конце октября 2016 года Megaindex обновил алгоритм классификации запросов. Теперь система умеет выделять три уровня тематических категорий (ранее было только две) соответственно и количество категорий выросло в несколько раз.
