Twitter разработал и построил систему борьбы со спамом BotMaker. Система уже обрабатывает миллиарды событий ежедневно, благодаря чему с момента запуска ключевые показатели спама снизились на 40%.
Целью любой анти-спам системы является уменьшение количества видимого спама и отсутствие ложных срабатываний. Спам в Twitter отличается от традиционного спама в других системах: для легкого взаимодействия с платформой Twitter предоставляет разработчикам API, а контент публикуется в режиме реального времени. Это означает, что спамеры узнают почти все системы анти-спама Twitter через API. Кроме того, анти-спам системы должны избегать задержки в видимых пользователю операциях. В более традиционных системах, например, в электронной почте, задержка на десятки секунд остается незамеченной.
Три ключевых принципа Botmaker:
- Предотвращение создания спама. Усложнение создания спама приводит к уменьшению его видимого количества.
- Уменьшение времени, в течение которого спам виден на Twitter.
- Сокращение времени реакции на новые спам-атаки.
Для достижения этих целей BotMaker получает информацию о событиях от распределенных систем в Twitter, проверяет данные в соответствии с набором правил, а затем применяет предусмотренные действия.
Правила BotMaker, называемые ботами, разделяются на две части: условия для принятия решения о реакции на события, а также действия, которые следует предпринять в связи с данным событием. Например, простое правило для запрета публикации твита со спам-гиперссылкой выглядит так:
В результате этого правила BotMaker будет запрещать любые твиты, соответствующие поставленному условию.
Для того, чтобы систему борьбы со спамом могли преодолеть основные записи Twitter (твиты, ретвиты, избранное и подписки), система поддерживает правила, основанные на машинном обучении. Кроме того, инженеры Twitter имеют возможность мгновенно изменять и создавать новые правила.
График показывает снижение количества спама в Twitter на 55% после включения BotMaker.
BotMaker также значительно снижает время реакции на спам-атаки. До появления системы на внесение изменений требовалось несколько часов или дней, теперь процесс занимает считанные минуты.
Разработчики BotMaker после его запуска увидели снижение характеристик отслеживания спама на 40%.
BotMaker уже используется в Twitter как главный двигатель борьбы со спамом. Кроме того, принципы функционирования BotMaker могут помочь в разработке и реализации систем, отвечающих за управление, поддержку и защиту распределенных систем.
В сентябре 2013 Twitter представил функцию, которая была призвана сократить количество спама и «информационного шума». В категорию Filtered начали попадать сообщения, которые Twitter уже «очистил» от спама при помощи собственного алгоритма.