Microsoft раскрыла тайну дорвеев.

Специалисты компании Microsoft выяснили, какие компании и технологии скрываются за десятками тысяч "мусорных" веб-страниц, создаваемых для распространения среди пользователей поисковых систем рекламных объявлений.

Исследователи Microsoft опубликовали документ, в котором сообщается, что многочисленные ссылки, продвигающие в интернете "мусорные" страницы (doorway pages), генерируются и распространяются небольшой группой людей, обладающих связями с крупными рекламодателями и веб-хостерами. Специалисты полагают, что исследование поможет ограничить практику распространения "мусорных" страниц.

В Microsoft проследили и описали сложный механизм, согласно которому группа людей создает дорвеи и организовывает пятиуровневый двусторонний канал обмена данными, в котором (если говорить упрощенно) в одну сторону идет трафик поисковых машин, в другую - контент рекламного характера, сообщает NY Times. Дэвид Сифри, руководитель компании Technorati, заявил, что таким образом "малое количество злоумышленников, хорошо знающих и понимающих, что они делают, могут создать большое количество проблем".

Использование сомнительных или незаконных методов для искусственного увеличения ранжирования сайта в результатах поиска известно как спамминг поисковых машин. Данная практика является серьезной и актуальной проблемой для крупных поисковых машин, которые прилагают множество усилий для того, чтобы снизить (полностью исключить его пока не удается) влияние поисковых спамеров и "плодов" деятельности компаний, занимающихся легальным SEO (Search Engine Optimization - оптимизация под поисковые системы), на результаты работы поисковиков.

Исследователи выяснили, что большая часть такого рода "мусорных" страниц была создана всего лишь двумя компаниями-вебхостерами, и свыше 68% подобного контента размещено всего лишь тремя рекламодателями. Спамминг поисковых систем - небольшой, но высокоэффективный и развивающийся компонент всей мировой спам-машины. Однако господин Сифри считает, что поисковый спамминг можно сделать более управляемым, чем он является сейчас, если, соответственно, повысить управляемость и подотчетность всего интернета в целом. Он полон оптимистичных прогнозов по этому поводу.

В проведенном исследовании приводится интересная статистика: для некоторых поисковых запросов (таких, как "drugs" и "ring tone") более чем 30% выводимых поисковой системой результатов являются "мусором". Кроме того, эксперты рассчитали среднюю "плотность" спама (количество сугубо рекламных страниц по отношению к обычным) и выяснили, что дорвеев было 11%. Анализ проводился на основе 1000 ключевых слов, использовавшихся для отправки поисковикам запросов.