Se pueden encontrar pistas sobre lo que es Google MUM en los recientes trabajos de investigación de inteligencia artificial publicados por investigadores de Google.
Google Multitask Unified Model (MUM) es una nueva tecnología para responder preguntas complejas que no tienen respuestas directas.
MUM probablemente se compone de múltiples innovaciones. Por ejemplo, el artículo de investigación de Google, HyperGrid Transformers: Towards A Single Model for Multiple Tasks describe un nuevo estado del arte en el aprendizaje de tareas múltiples que podría ser parte de MUM. HyperGrid Transformers: Towards A Single Model for Multiple Tasks
Si bien este artículo se centra en dos documentos que son particularmente interesantes, eso no significa que estas sean las dos únicas tecnologías que pueden ser la base del Modelo Unificado Multitarea (MUM) de Google.
Algoritmos de Google descritos en documentos de investigación y patentes
Google generalmente no confirma si los algoritmos descritos en documentos de investigación o patentes están en uso o no.
Google no ha confirmado qué es la tecnología Multitask Unified Model (MUM).
Documentos de investigación del modelo unificado multitarea
A veces, como fue el caso de Neural Matching, no existen trabajos de investigación o patentes que utilicen explícitamente el nombre de la tecnología.. Es como si Google hubiera inventado una marca descriptiva para un grupo de algoritmos que trabajan juntos.
Este es un poco el caso con el modelo unificado multitarea (MUM). No hay patentes o trabajos de investigación con la marca MUM exactamente. Pero…
Hay trabajos de investigación que analizan problemas similares que MUM resuelve utilizando soluciones multitarea y modelo unificado.
¿Qué es Google Mamá?
Google MUM es un grupo de tecnologías que trabajan juntas para resolver consultas de búsqueda difíciles que no se pueden responder con un fragmento breve o los diez enlaces azules tradicionales.
MUM tiene como objetivo resolver estas consultas difíciles mediante el uso de múltiples formas de contenido, incluidas imágenes y contenido de texto en varios idiomas para proporcionar una respuesta rica y matizada.
Antecedentes del problema que MUM resuelve
La respuesta a preguntas de formato largo es una consulta de búsqueda compleja que no se puede responder con un enlace o fragmento. La respuesta requiere párrafos de información que contengan múltiples subtemas.
El anuncio MUM de Google describió la complejidad de ciertas preguntas con un ejemplo de un buscador que quería saber cómo prepararse para escalar el Monte Fuji en el otoño.
Este es el ejemplo de Google de una consulta de búsqueda compleja:
“Today, Google could help you with this, but it would take many thoughtfully considered searches — you’d have to search for the elevation of each mountain, the average temperature in the fall, difficulty of the hiking trails, the right gear to use, and more.”
“Hoy, Google podría ayudarlo con esto, pero se necesitarían muchas búsquedas bien pensadas: tendría que buscar la elevación de cada montaña, la temperatura promedio en el otoño, la dificultad de las rutas de senderismo, el equipo adecuado para usar.
Aquí hay un ejemplo de una pregunta de formato largo:
“What are the differences between bodies of water like lakes, rivers, and oceans?”
“¿Cuáles son las diferencias entre cuerpos de agua como lagos, ríos y océanos?”
La pregunta anterior requiere varios párrafos para discutir las cualidades de los lagos, ríos y mares, además de una comparación entre cada cuerpo de agua entre sí.
He aquí un ejemplo de la complejidad de la respuesta:
- Un lago generalmente se conoce como agua quieta porque no fluye.
- Un río está fluyendo.
- Tanto un lago como un río son generalmente de agua dulce.
- Pero un río y un lago a veces pueden ser salobres (salados).
- Un océano puede tener millas de profundidad.
Responder una pregunta de formato largo requiere una respuesta compleja que consta de varios pasos, como el ejemplo que Google compartió sobre cómo prepararse para escalar el Monte Fuji en el otoño.
El anuncio de MUM de Google no mencionó la respuesta a preguntas de formato largo, pero el problema que MUM resuelve parece ser exactamente eso.
Cambio en cómo se responden las preguntas
En mayo de 2021, un investigador de Google llamado Donald Metzler publicó un artículo que presentaba el caso de que la forma en que los motores de búsqueda responden preguntas debe tomar una nueva dirección para dar respuestas a preguntas complejas.
El documento afirmó que el método actual de recuperación de información que consiste en indexar páginas web y clasificarlas es inadecuado para responder consultas de búsqueda complejas.
El artículo se titula Replanteamiento de la búsqueda: convertir a los diletantes en expertos (PDF) PDF
Un diletante es alguien que tiene un conocimiento superficial de algo, como un aficionado y no un experto.
El documento posiciona el estado actual de los motores de búsqueda de la siguiente manera:
“Today’s state-of-the-art systems often rely on a combination of term-based… and semantic …retrieval to generate an initial set of candidates.
This set of candidates is then typically passed into one or more stages of re-ranking models, which are quite likely to be neural network-based learning-to-rank models.
As mentioned previously, the index-retrieve-then-rank paradigm has withstood the test of time and it is no surprise that advanced machine learning and NLP-based approaches are an integral part of the indexing, retrieval, and ranking components of modern day systems.”
“Los sistemas de última generación de hoy en día a menudo se basan en una combinación de recuperación basada en términos… y semántica… para generar un conjunto inicial de candidatos.
Este conjunto de candidatos generalmente pasa a una o más etapas de reclasificación de modelos, que muy probablemente sean modelos de aprendizaje para clasificar basados en redes neuronales.
Como se mencionó anteriormente, el paradigma indexar-recuperar-luego-clasificar ha resistido la prueba del tiempo y no sorprende que el aprendizaje automático avanzado y los enfoques basados en NLP sean una parte integral de los componentes de indexación, recuperación y clasificación de los sistemas modernos.
Recuperación de información basada en modelos
El nuevo sistema que describe el trabajo de investigación Making Experts out of Dilettantes elimina la parte del algoritmo de recuperación de índices.
Esta sección del trabajo de investigación hace referencia a IR, que significa Recuperación de información, que es lo que hacen los motores de búsqueda.
Así es como el documento describe esta nueva dirección para los motores de búsqueda:
“The approach, referred to as model-based information retrieval, is meant to replace the long-lived “retrieve-then-rank” paradigm by collapsing the indexing, retrieval, and ranking components of traditional IR systems into a single unified model.”
“El enfoque, conocido como recuperación de información basada en modelos, pretende reemplazar el paradigma de larga duración de “recuperar y luego clasificar” mediante el colapso de los componentes de indexación, recuperación y clasificación de los sistemas IR tradicionales en un solo modelo unificado”.
A continuación, el documento entra en detalles sobre cómo funciona el «modelo unificado».
Detengámonos aquí para recordar que el nombre del nuevo algoritmo de Google es Modelo Unificado Multitarea
Omitiré la descripción del modelo unificado por ahora y solo notaré esto:
“The important distinction between the systems of today and the envisioned system is the fact that a unified model replaces the indexing, retrieval, and ranking components. In essence, it is referred to as model-based because there is nothing but a model.”
“La distinción importante entre los sistemas actuales y el sistema previsto es el hecho de que un modelo unificado reemplaza los componentes de indexación, recuperación y clasificación.. En esencia, se lo denomina basado en modelos porque no hay nada más que un modelo”.
Captura de pantalla que muestra qué es un modelo unificado
En otro lugar, el trabajo de investigación de Dilettantes afirma:
“To accomplish this, a so-called model-based information retrieval framework is proposed that breaks away from the traditional index retrieve-then-rank paradigm by encoding the knowledge contained in a corpus in a unified model that replaces the indexing, retrieval, and ranking components of traditional systems.”
“Para lograr esto, se propone un llamado marco de recuperación de información basado en modelos que rompe con el paradigma tradicional de recuperación de índices y luego clasificación al codificar el conocimiento contenido en un corpus en un modelo unificado que reemplaza la indexación, recuperación y
¿Es una coincidencia que la tecnología de Google para responder preguntas complejas se denomine Modelo unificado multitarea y que el sistema analizado en este documento de mayo de 2021 defienda la necesidad de un «modelo unificado» para responder preguntas complejas?
¿Qué es el trabajo de investigación de MUM?
El artículo de investigación «Repensar la búsqueda: convertir a los diletantes en expertos» incluye a Donald Metzler como autor. Anuncia la necesidad de un algoritmo que cumpla la tarea de responder preguntas complejas y sugiere un modelo unificado para lograrlo.
Da una visión general del proceso, pero es un poco corto en detalles y experimentos.
Hay otro artículo de investigación publicado en diciembre de 2020 que describe un algoritmo que tiene experimentos y detalles y uno de los autores es… Donald Metzler. Donald Metzler
El nombre del trabajo de investigación de diciembre de 2020 es Mezcla multitarea de expertos secuenciales para flujos de actividad de usuario.
Detengámonos aquí, retrocedamos y reiteremos el nombre del nuevo algoritmo de Google: Modelo Unificado Multitarea
El documento de mayo de 2021 Repensar la búsqueda: convertir a los diletantes en expertos describió la necesidad de un modelo unificado. El artículo de investigación anterior de diciembre de 2020 (del mismo autor) se llama Multitask Mixture of Sequential Experts for User Activity Streams (PDF). PDF
¿Son estas coincidencias? . Las similitudes entre MUM y este otro trabajo de investigación son asombrosamente similares.
MoSE: mezcla multitarea de expertos secuenciales para flujos de actividad de usuario
TL;RD . Es altamente eficiente, lo que lo hace escalable y potente.
Esas características de MoSE coinciden con ciertas cualidades del algoritmo MUM, específicamente que MUM puede responder consultas de búsqueda complejas y es 1000 veces más potente que tecnologías como BERT.
Qué hace el ratón
TL;RD . Esta información le permite modelar el proceso de consultas de búsqueda complejas para producir respuestas satisfactorias.
El documento de investigación MoSE de diciembre de 2020 de Google describe el modelado del comportamiento del usuario en orden secuencial, en lugar de modelar la consulta de búsqueda y el contexto.
Modelar el comportamiento del usuario en orden secuencial es como estudiar cómo un usuario buscó esto, luego esto y luego aquello para comprender cómo responder a una consulta compleja.
El diario lo describe así:
“In this work, we study the challenging problem of how to model sequential user behavior in the neural multi-task learning settings.
Our major contribution is a novel framework, Mixture of Sequential Experts (MoSE). It explicitly models sequential user behavior using Long Short-Term Memory (LSTM) in the state-of-art Multi-gate Mixture-of-Expert multi-task modeling framework.”
“En este trabajo, estudiamos el desafiante problema de cómo modelar el comportamiento secuencial del usuario en la configuración de aprendizaje neuronal multitarea.
Nuestra principal contribución es un marco novedoso, Mixture of Sequential Experts (MoSE). Modela explícitamente el comportamiento secuencial del usuario utilizando la memoria a largo plazo (LSTM) en el marco de modelado multitarea de mezcla de expertos de múltiples puertas de última generación”.
Esa última parte sobre el «marco de modelado multitarea de mezcla de múltiples puertas de expertos» es un bocado.
Es una referencia a un tipo de algoritmo que se optimiza para múltiples tareas/objetivos y eso es todo lo que se necesita saber por ahora.. (Cita: Modelado de relaciones de tareas en el aprendizaje de tareas múltiples con mezcla de expertos de múltiples puertas) Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
El artículo de investigación de MoSE analiza otros algoritmos multitarea similares que están optimizados para múltiples objetivos, como predecir simultáneamente qué video un usuario podría querer ver en YouTube, qué videos perpetuarán una mayor participación y qué videos generarán más satisfacción del usuario.. Son tres tareas/objetivos.
El papel comenta:
“Multi-task learning is effective especially when tasks are closely correlated.”
“El aprendizaje multitarea es efectivo, especialmente cuando las tareas están estrechamente relacionadas”.
MoSE fue entrenado en la búsqueda
El algoritmo MoSE se enfoca en aprender de lo que llama datos heterogéneos, lo que significa formas de datos diferentes/diversas.
De interés para nosotros, en el contexto de MUM, es que el algoritmo MoSE se analiza en el contexto de la búsqueda y las interacciones de los buscadores en su búsqueda de respuestas, es decir. qué pasos tomó un buscador para encontrar una respuesta.
“…in this work, we focus on modeling user activity streams from heterogeneous data sources (e.g., search logs and browsing logs) and the interactions among them.”
«… en este trabajo, nos enfocamos en modelar los flujos de actividad de los usuarios a partir de fuentes de datos heterogéneas (por ejemplo, registros de búsqueda y registros de navegación) y las interacciones entre ellos».
Los investigadores experimentaron y probaron el algoritmo MoSE en tareas de búsqueda dentro de G Suite y Gmail.
MoSE y predicción del comportamiento de búsqueda
Otra característica que convierte a MoSE en un candidato interesante para ser relevante para MUM es que puede predecir una serie de búsquedas y comportamientos secuenciales.
Las consultas de búsqueda complejas, como se indica en el anuncio de Google MUM, pueden requerir hasta ocho búsquedas.
Pero si un algoritmo puede predecir estas búsquedas e incorporarlas en las respuestas, el algoritmo puede responder mejor a esas preguntas complejas.
El anuncio de MUM dice:
“But with a new technology called Multitask Unified Model, or MUM, we’re getting closer to helping you with these types of complex needs. So in the future, you’ll need fewer searches to get things done.”
“Pero con una nueva tecnología llamada Modelo unificado multitarea, o MUM, estamos cada vez más cerca de ayudarlo con este tipo de necesidades complejas.. Entonces, en el futuro, necesitará menos búsquedas para hacer las cosas”.
Y esto es lo que dice el trabajo de investigación del MoSE:
“For example, user behavior streams, such as user search logs in search systems, are naturally a temporal sequence. Modeling user sequential behaviors as explicit sequential representations can empower the multi-task model to incorporate temporal dependencies, thus predicting future user behavior more accurately.”
“Por ejemplo, los flujos de comportamiento de los usuarios, como los registros de búsqueda de usuarios en los sistemas de búsqueda, son naturalmente una secuencia temporal. Modelar los comportamientos secuenciales de los usuarios como representaciones secuenciales explícitas puede permitir que el modelo multitarea incorpore dependencias temporales, prediciendo así el comportamiento futuro de los usuarios con mayor precisión”.
MoSE es altamente eficiente con los costos de recursos
La eficiencia de MoSE es importante.
Cuantos menos recursos informáticos necesite un algoritmo para completar una tarea, más potente puede ser en esas tareas porque esto le da más espacio para escalar.
Se dice que MUM es 1000 veces más potente que BERT.
El trabajo de investigación del MoSE menciona equilibrar la calidad de la búsqueda con los «costos de los recursos», siendo los costos de los recursos una referencia a los recursos informáticos.
Lo ideal es tener resultados de alta calidad con costos mínimos de recursos informáticos que le permitan escalar para una tarea más grande como la búsqueda.
El algoritmo original de Penguin solo se podía ejecutar en el mapa de toda la web (llamado gráfico de enlaces) un par de veces al año.. Presumiblemente, eso se debió a que requería muchos recursos y no se podía ejecutar a diario.
En 2016, Penguin se volvió más poderoso porque ahora podía ejecutarse en tiempo real.. Este es un ejemplo de por qué es importante producir resultados de alta calidad con costos mínimos de recursos.
Cuantos menos costos de recursos requiera MoSE, más poderoso y escalable puede ser.
Esto es lo que dijeron los investigadores sobre los costos de recursos de MoSE:
“In experiments, we show the effectiveness of the MoSE architecture over seven alternative architectures on both synthetic and noisy real-world user data in G Suite.
We also demonstrate the effectiveness and flexibility of the MoSE architecture in a real-world decision making engine in GMail that involves millions of users, balancing between search quality and resource costs.”
“En los experimentos, mostramos la efectividad de la arquitectura MoSE en siete arquitecturas alternativas en datos de usuario del mundo real tanto sintéticos como ruidosos en G Suite.
También demostramos la efectividad y flexibilidad de la arquitectura MoSE en un motor de toma de decisiones del mundo real en GMail que involucra a millones de usuarios, equilibrando la calidad de la búsqueda y los costos de los recursos”.
Luego, hacia el final del documento, informa estos notables resultados:
“We emphasize two benefits of MoSE. First, performance wise, MoSE significantly outperforms the heavily tuned shared bottom model. At the requirement of 80% resource savings, MoSE is able to preserve approximately 8% more document search clicks, which is very significant in the product.
Also, MoSE is robust across different resource saving level due to the its modeling power, even though we assigned equal weights to the tasks during training.”
“Hacemos hincapié en dos beneficios de MoSE. En primer lugar, en cuanto al rendimiento, MoSE supera significativamente al modelo de fondo compartido muy ajustado.. Con el requisito de un ahorro de recursos del 80 %, MoSE puede conservar aproximadamente un 8 % más de clics de búsqueda de documentos, lo que es muy significativo en el producto.
Además, MoSE es sólido en diferentes niveles de ahorro de recursos debido a su poder de modelado, aunque asignamos pesos iguales a las tareas durante el entrenamiento”.
Y del poder absoluto y la flexibilidad para girar hacia el cambio, se jacta:
“This gives MoSE more flexibility when the business requirement keeps changing in practice since a more robust model like MoSE may alleviate the need to re-train the model, comparing with models that are more sensitive to the importance weights during training.”
“Esto le da a MoSE más flexibilidad cuando los requisitos comerciales siguen cambiando en la práctica, ya que un modelo más sólido como MoSE puede aliviar la necesidad de volver a entrenar el modelo, en comparación con modelos que son más sensibles a los pesos de importancia durante el entrenamiento”.
Mamá, MoSE y Transformador
Se anunció que MUM se había construido utilizando la técnica Transformer.
El anuncio de Google señaló:
“MUM has the potential to transform how Google helps you with complex tasks. Like BERT, MUM is built on a Transformer architecture, but it’s 1,000 times more powerful.”
“MUM tiene el potencial de transformar la forma en que Google te ayuda con tareas complejas. Al igual que BERT, MUM se basa en una arquitectura Transformer, pero es 1000 veces más potente”.
Los resultados informados en el trabajo de investigación del MoSE de diciembre de 2020, hace seis meses, fueron notables.
Pero la versión de MoSE probada en 2020 no se creó con la arquitectura Transformer.
Los investigadores (en un artículo publicado en diciembre de 2020) mencionaron los transformadores como una dirección futura para MoSE:
“Experimenting with more advanced techniques such as Transformer is considered as future work.
… MoSE, consisting of general building blocks, can be easily extended, such as using other sequential modeling units besides LSTM, including GRUs, attentions, and Transformers…”
“Experimentar con técnicas más avanzadas como Transformer se considera un trabajo futuro.
… MoSE, que consta de bloques de construcción generales, se puede ampliar fácilmente, como el uso de otras unidades de modelado secuencial además de LSTM, incluidas GRU, atenciones y transformadores…»
Según el trabajo de investigación, MoSE podría potenciarse fácilmente mediante el uso de otras arquitecturas, como Transformers.. Esto significa que MoSE podría ser parte de lo que Google anunció como MUM.
Por qué el éxito de MoSE es notable
Google publica muchas patentes de algoritmos y trabajos de investigación. Muchos de ellos están empujando los bordes del estado del arte al mismo tiempo que notan fallas y errores que requieren más investigación.
Ese no es el caso con MoSE. es todo lo contrario. Los investigadores señalan los logros de MoSES y cómo todavía existe la oportunidad de mejorarlo aún más.
Lo que hace que la investigación de MoST sea aún más notable es el nivel de éxito que afirma y la puerta que deja abierta para hacerlo aún mejor.
Es digno de mención e importante cuando un trabajo de investigación afirma ser exitoso y no una combinación de éxito y pérdidas.
Esto es especialmente cierto cuando los investigadores afirman lograr estos éxitos sin niveles significativos de recursos.
¿MoSE es la tecnología MUM AI de Google?
MUM se describe como una tecnología de Inteligencia Artificial. MoSE está categorizado como inteligencia artificial en el blog de IA de Google. ¿Cuál es la diferencia entre IA e inteligencia artificial? . La base de datos de publicaciones de Google AI clasifica los trabajos de investigación sobre inteligencia artificial en la categoría de inteligencia artificial. No hay categoría de Inteligencia Artificial. Machine Intelligence category
No podemos decir con certeza que MoSE sea parte de la tecnología subyacente al MUM de Google.
- Es posible que MUM sea en realidad una serie de tecnologías que trabajan juntas y que MoSE sea parte de eso.
- Podría ser que MoSE sea una parte importante de Google MUM.
- O podría ser que MoSE no tenga nada que ver con MUM en absoluto.
Sin embargo, es intrigante que MoSE sea un enfoque exitoso para predecir el comportamiento de búsqueda del usuario y que se pueda escalar fácilmente usando Transformers.
Ya sea que esto sea o no parte de la tecnología MUM de Google, los algoritmos descritos en estos documentos muestran cuál es el estado del arte en la recuperación de información.
Citas
MoSE: mezcla multitarea de expertos secuenciales para flujos de actividad de usuario (PDF) MoSE – Multitask Mixture of Sequential Experts for User Activity Streams
Repensar la búsqueda: convertir a los diletantes en expertos (PDF) Rethinking Search: Making Experts out of Dilettantes
Anuncio oficial de Google de MUMMUM: un nuevo hito de IA para comprender la información MUM: A new AI Milestone for Understanding Information
Leer el articulo original en Search Engine Journal.
