Facebook открыл исходный код AI-инструмента для обработки текстов fastText

FAIR, AI-лаборатория компании Facebook, выложила в публичный доступ исходный код инструмента для классификации текстов fastText. Он доступен всем желающим на GitHub.

В описании проекта говорится, что fastText – это библиотека для обучения представлениям слов и классификации предложений. Инструмент поддерживает несколько языков, включая английский, немецкий, испанский, французский и чешский.

«Для эффективной обработки массивов данных с большим количеством различных категорий fastText использует иерархический классификатор, который организовывает различные категории в древовидную структуру вместо плоской», - отмечают представители лаборатории.

По данным Facebook, fastText – более быстрый, чем традиционные методы глубокого обучения:

fasttest

Технология обучается на более чем 1 млрд слов за менее чем 10 минут, используя стандартный многоядерный процессор. fastText также может классифицировать полмиллиона предложений по более чем 300 тыс. категорий менее чем за 5 минут.

Напомним, что в прошлом месяце Facebook запустил алгоритм для борьбы с кликбейтингом в новостной ленте. fast Text позволит разработчикам создавать подобные инструменты самостоятельно.

subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview ВКонтакте назвала 7 плюсов нового дизайна в ответ на 7 претензий Дурова

ВКонтакте назвала 7 плюсов нового дизайна в ответ на 7 претензий Дурова

Команда ВКонтакте довольна результатом перевода своих пользователей на новый дизайн
preview В Pinterest появится новый рекомендательный функционал

В Pinterest появится новый рекомендательный функционал

Сервис Pinterest запускает новый рекомендательный функционал Picked for you («Собрано для вас»
preview Реклама Google обеспечила более 3 млрд загрузок приложений

Реклама Google обеспечила более 3 млрд загрузок приложений

Мобильная реклама Google в последние месяцы демонстрирует высокую эффективность
preview Google купил команду стартапа Apportable

Google купил команду стартапа Apportable

Google тайно приобрёл команду стартапа Apportable, создателя одноименной платформы для мобильных разработчиков. Об этом сообщает VentureBeat
preview Twitter отфильтрует публикации и уведомления от спамеров и ботов

Twitter отфильтрует публикации и уведомления от спамеров и ботов

Twitter представил новые функции, которые помогут пользователю отфильтровать уведомления, поступающие от ботов и спамеров
preview Facebook запускает собственную игровую платформу

Facebook запускает собственную игровую платформу

Компания Facebook не собирается останавливаться на Farmville и приобретении за $2 млрд Oculus VR, продолжая наступать на видеоигровую индустрию