В интервью Search Engine Land вице-президент по поиску Google Панду Наяк (Pandu Nayak) поделился дорожной картой по многозадачной унифицированной модели (Multitask Unified Model, MUM) и рассказал подробнее о планах по использованию этой технологии в поиске.
По его словам, MUM точно не станет системой вопросов и ответов, поскольку такая система не полезна для сложных запросов. Он также отметил, что MUM может фундаментально изменить то, как пользователи взаимодействуют с поисковой системой.
MUM – последнее достижение Google в области понимания речи
MUM можно классифицировать как продвинутую версию BERT и более мощную. Хотя обе модели построены на основе технологии трансформеров, а возможности BERT встроены в MUM, MUM основана на другой архитектуре (5T) и способна на большее.
Наяк рассказал, что модель MUM обучается одновременно по 75 языкам. Это позволяет Google обобщать данные, полученные по богатым данными языкам, и применять их по отношению к тем языкам, где данных меньше.
Это может означать, что практические решения на основе MUM будет легче перевести на другие языки, что может помочь Google укрепить свои позиции на этих рынках.
- MUM не ограничена текстом
Еще одно отличие состоит в том, что MUM является мультимодальной технологией. Это означает, что ее возможности не ограничиваются текстом: она также может использовать видео и изображения в качестве входных данных.
На презентации MUM на Google I/O 2021 Наяк привел следующий гипотетический пример использования технологии:
«Представьте, что вы фотографируете свои походные ботинки и спрашиваете: “Могу ли я использовать их для похода на гору Фудзи?”. MUM сможет понять содержание изображения и цель вашего запроса».
- Многозадачность
«MUM также по своей сути многозадачна», - отметил Наяк. Задачи, связанные с естественным языком, которые она может выполнять, включают ранжирование страниц для определенного запроса, просмотр документов и извлечение информации. MUM может выполнять несколько задач в двух модальностях: со стороны обучения и со стороны использования.
- MUM не станет отдельной функцией в поиске
Что касается использования, Google не предполагает развертывания MUM как отдельной функции в поиске.
«Мы думаем о MUM как о платформе, на основе которой разные команды смогут создавать разные варианты использования. Идея в том, что в течение следующих нескольких месяцев мы увидим, как многие-многие команды в поиске будут использовать MUM для тех задач, которые они выполняли для улучшения поиска, и пример, связанный с вакциной против COVID-19, – действительно хорошая тому иллюстрация».
Дорожная карта для MUM
- Краткосрочные планы
Краткосрочные цели Google в отношении MUM в основном сосредоточены на передаче знаний между языками. Первое публичное применение MUM, в котором было идентифицировано более 800 вариантов названий вакцин на 50 языках за считанные секунды, является хорошим примером этого этапа развертывания технологии.
Важно отметить, что у Google уже было подмножество обозначений вакцин против COVID 19, которое запускало соответствующие результаты поиска. Однако MUM дала поисковой системе возможность получить гораздо больший набор названий вакцин, что позволило этим результатам появляться в большем числе релевантных ситуаций.
В рамках этого краткосрочного этапа команды в Google начали включать MUM в свои проекты:
«У нас есть десятки команд, которые экспериментируют с MUM прямо сейчас. Многие из них находят большую полезность в том, что видят», - сказал Наяк, но пока отказался сообщить более конкретные детали.
- Среднесрочные планы
На среднесрочную перспективу запланированы мультимодальные функции.
«В среднесрочной перспективе мы думаем о мультимодальности – это будет похоже на новую возможность для поиска, которой у нас не было раньше», - рассказал Наяк.
В своем видении технологии MUM в поиске он описывает интерфейс, в котором пользователи могут загружать изображения и задавать текстовые вопросы об этих изображениях. Вместо того чтобы возвращать простой ответ, который может привести к поиску без кликов (zero-click search), Наяк видит, что Google возвращает релевантные результаты, которые устраняют разрыв между загруженным изображением и запросом пользователя.
Что касается точных сроков достижения этих целей, то они пока не определены.
- Долгосрочные планы
«В долгосрочной перспективе мы думаем, что потенциал MUM проистекает из ее способности понимать язык на гораздо более глубоком уровне. Я думаю, что она будет поддерживать гораздо более глубокое понимание информации, и мы надеемся, что сможем преобразовать это более глубокое понимание в лучший опыт для наших пользователей», - рассказал Наяк.
В их текущем состоянии поисковым системам трудно найти релевантные результаты по некоторым сложным запросам, например: «Я совершил пеший поход на гору Адамс и хочу отправиться на гору Фудзи следующей осенью. Что мне сделать, чтобы подготовиться?».
По словам Наяка, сегодня, если пользователь просто введет этот запрос в Google, очень высока вероятность, что он не получит никаких полезных результатов. Ему нужно будет разбить этот вопрос на несколько запросов, изучить результаты поиска по каждому из них, и собрать их воедино. И здесь MUM может помочь Google улучшить поисковую выдачу.
В настоящее время в Google не работают над этим функционалом, поскольку он относится к долгосрочным планам, но это одна из будущих областей применения MUM.
- Почему это долгосрочная задача
Одна из причин заключается в том, что эта задача требует переосмысления того, почему люди приходят в Google со сложными потребностями, а не с индивидуальными запросами, пояснил Наяк.
Google также должен будет преобразовать сложную потребность, выраженную в поисковом запросе пользователя, в подмножество запросов, и результаты по этим запросам должны быть должным образом организованы.
- Кто двигает развитие технологии
По словам Наяка, Google стремится создать новый опыт взаимодействия с поиском, но также позволяет отдельным командам использовать MUM в собственных проектах.
«Мы ожидаем, что многие команды в поиске будут использовать MUM теми способами, которые мы даже не предполагали. Но мы также стремимся создать новые возможности в поиске и у нас есть люди, изучающие эти возможности. Что совершенно очевидно для всех – как для существующих команд, так и для тех, кто нацелен на создание нового опыта взаимодействия – это то, что базовая система кажется чрезвычайно мощной и многообещающей. Теперь наша задача – превратить этот потенциал в отличные поисковые возможности для наших пользователей. Вот в чем сейчас вызов», - объяснил топ-менеджер.
- MUM не будет системой вопросов и ответов
Наяк заверил, что разработка системы вопросов и ответов совершенно не является его видением MUM: «Причина очень проста: такая система просто бесполезна для тех сложных потребностей, которые есть у людей».
Он также добавил:
«Вы, наверное, видели статистику о том, что каждый год с момента появления Google мы отправляем в открытый интернет больше трафика, чем в предыдущем году. Мы ожидаем, что MUM продолжит эту тенденцию. Нет никаких ожиданий, что она станет системой вопросов и ответов».
Издержки и риски работы над MUM
Разработка моделей для поиска может иметь экологические последствия и требует больших наборов данных. Google осознает эти соображения и принимает меры предосторожности, чтобы применять MUM ответственно.
- Предотвращение предвзятости
Чтобы избежать предубеждений и предвзятости, Google отслеживает те данные, на которых обучается MUM.
«Мы не обучаем MUM на всем веб-корпусе, мы обучаем его на высококачественном подмножестве веб-корпуса. Все эти нежелательные предубеждения в низкокачественном контенте, в контенте для взрослых и откровенном контенте – у модели нет шанса их узнать, потому что мы не представляем этот контент MUM», - объяснил Наяк.
При этом он признал, что даже высококачественный контент может содержать предубеждения, которые компания пытается отфильтровать с помощью специальных процессов оценки.
«Когда мы запустили BERT полтора года назад, мы провели беспрецедентное количество оценок за многие месяцы, предшествующие запуску, просто чтобы убедиться, что нет никаких подозрительных паттернов. При выявлении таких паттернов мы предприняли шаги для их смягчения. Я полностью ожидаю, что до того, как у нас будет значительный запуск MUM в поиске, мы проведем значительный объем оценок таким же образом, чтобы избежать каких-либо тревожных паттернов», - рассказал Наяк.
- Влияние на экологию
Разработка крупных моделей может быть дорогостоящим и энергоемким процессом, что может нанести вред окружающей среде.
«Наша исследовательская группа недавно выпустила довольно исчерпывающий и интересный документ о влиянии на климат различных больших моделей, построенных нашими сотрудниками, а также некоторых моделей, построенных вне компании, таких как GPT-3. Статья показывает, что исходя из выбора модели, используемых процессоров и центров обработки данных, углеродное воздействие может быть уменьшено в тысячу раз», - объяснил Наяк.
Итоги
Комментарии Наяка о будущем MUM и о том, что технология не станет «системой вопросов и ответов», имеют большое значение. Они показывают, что Google признает беспокойство, которое испытывают многие маркетологи, а также регулирующие органы.
Возможно, другие поисковые системы также разрабатывают аналогичные технологии. Мы уже видели это на примере Bing и его реализации BERT почти за шесть месяцев до Google. Однако на данный момент Google стал первым, кто представил MUM, и это может быть преимуществом, которое поможет компании сохранить долю на рынке.
Дорожная карта Google для MUM предоставляет маркетологам контекст и множество возможностей для рассмотрения, но на данный момент нет ничего, к чему можно было бы начать готовиться.
Остается только ждать, пока Google начнет внедрять эту технологию теми способами, о которых рассказал Панду Наяк.
Материалы по теме:
