Специалисты Microsoft раскрыли механизм дорвеев

Специалисты компании Microsoft выяснили, какие компании и технологии скрываются за десятками тысяч «мусорных» веб-страниц, создаваемых для распространения среди пользователей поисковых систем рекламных объявлений.

Исследователи Microsoft опубликовали документ, в котором сообщается, что многочисленные ссылки, продвигающие в интернете «мусорные» страницы (doorway pages), генерируются и распространяются небольшой группой людей, обладающих связями с крупными рекламодателями и веб-хостерами. Специалисты полагают, что исследование поможет ограничить практику распространения «мусорных» страниц. Схема механизма, выявленного специалистами Microsoft, показана на рисунке.

В Microsoft проследили и описали сложный механизм, согласно которому группа людей создает дорвеи и организовывает пятиуровневый двусторонний канал обмена данными, в котором (если говорить упрощенно) в одну сторону идет трафик поисковых машин, в другую — контент рекламного характера. Дэвид Сифри, руководитель компании Technorati, заявил, что таким образом «малое количество злоумышленников, хорошо знающих и понимающих, что они делают, могут создать большое количество проблем».

Использование сомнительных или незаконных методов для искусственного увеличения ранжирования сайта в результатах поиска известно как спамминг поисковых машин. Данная практика является серьезной и актуальной проблемой для крупных поисковых машин, которые прилагают множество усилий для того, чтобы снизить (полностью исключить его пока не удается) влияние поисковых спамеров и «плодов» деятельности компаний, занимающихся легальным SEO (Search Engine Optimization — оптимизация под поисковые системы), на результаты работы поисковиков.

Исследователи выяснили, что большая часть такого рода «мусорных» страниц была создана всего лишь двумя компаниями-вебхостерами, и свыше 68% подобного контента размещено всего лишь тремя рекламодателями. Спамминг поисковых систем -небольшой, но высокоэффективный и развивающийся компонент всей мировой спам-машины. Однако господин Сифри считает, что поисковый спамминг можно сделать более управляемым, чем он является сейчас, если, соответственно, повысить управляемость и подотчетность всего интернета в целом. Он полон оптимистичных прогнозов по этому поводу.

В проведенном исследовании приводится интересная статистика: для некоторых поисковых запросов (таких, как «drugs» и «ring tone») более чем 30% выводимых поисковой системой результатов являются «мусором». Кроме того, эксперты рассчитали среднюю «плотность» спама (количество сугубо рекламных страниц по отношению к обычным) и выяснили, что дорвеев было 11%. Анализ проводился на основе 1000 ключевых слов, использовавшихся для отправки поисковикам запросов.