ВКонтакте работает над искусственным интеллектом для автоматического распознавания материалов с хейтспичем — враждебными высказываниями. Технология призвана ускорить время обработки жалоб и помочь пользователям реже сталкиваться с проявлениями нетерпимости.
Новая нейросеть поможет быстрее находить материалы с враждебными высказываниями, а также публикации, которые провоцируют аудиторию проявлять агрессию. Нейросеть учится определять самые разные категории оскорблений и угроз. Среди них — проявления ксенофобии, расизма, гомофобии, сексизма и других предрассудков, а также оскорбления на почве религиозной принадлежности, возраста, внешности или наличия заболеваний.
Чтобы усилить модерацию по теме языка ненависти и обучить искусственный интеллект, ВКонтакте добавила новую категорию жалоб — «Враждебные высказывания». Пользователь может выбрать ее, если нажмет кнопку «Пожаловаться» у оскорбительной публикации. После этого материал попадет на рассмотрение к модераторам. Эта категория позволит точнее откалибровать уже существующие инструменты и собрать датасет для новых решений на основе нейросетей. При этом команды Модерации и Поддержки не только реагируют на жалобы, но и проводят проактивный внутренний мониторинг — в частности, с помощью механизмов автоматического поиска, технологии цифровых отпечатков и нейронных сетей.
Иван Корнеев, руководитель команды модерации ВКонтакте:
«Мы разделяем позицию наших пользователей и партнеров касательно языка вражды и прославления насилия. Модераторы ВКонтакте ежедневно обрабатывают огромный объем контента, в том числе с использованием искусственного интеллекта — большинство опасных материалов удаляются ещё до того, как их кто-то увидит. Если же вы заметили оскорбительную публикацию, пожалуйтесь на нее. С проявлениями нетерпимости эффективнее бороться вместе — и мы призываем пользователей присоединяться к нам в этой борьбе».
За первую половину 2020 года на платформе было удалено 520 тысяч единиц контента по теме разжигания вражды и ненависти, а также заблокировано 1340 профилей и 2470 сообществ, распространяющих враждебные высказывания.
Информация опубликована в новом разделе «Центра безопасности» под названием «Нормы платформы». В нем Команда ВКонтакте подробно рассказывает о том, как борется с проявлениями нетерпимости, а также описывает, какие именно высказывания считаются неприемлемыми на платформе.
Отметим, что ВКонтакте также обучает свои алгоритмы распознавать неприличные жесты в «Клипах». Планируется, что система сможет замечать в роликах грубые жесты — например, если кто-то показывает средний палец, а затем размывать их или закрывать черным прямоугольником.
