FLAN: Google Research desarrolla un mejor aprendizaje automático

Google publicó recientemente una investigación sobre una técnica para entrenar un modelo para que sea capaz de resolver problemas de procesamiento de lenguaje natural de una manera que pueda aplicarse a múltiples tareas. En lugar de entrenar un modelo para resolver un tipo de problema, este enfoque le enseña cómo resolver una amplia gama de problemas, haciéndolo más eficiente y avanzando en el estado del arte.

¿Qué es Flan de Google?

El nombre del modelo descrito por el trabajo de investigación de Google es FLAN, que significa Fine-tuned LAnguage Net (FLAN). Es una técnica de ajuste de instrucciones para aprender a resolver tareas de procesamiento del lenguaje natural en general.

La investigación de FLAN demuestra mejoras en la resolución de problemas de Zero-shot. El aprendizaje de tiro cero es una técnica de aprendizaje automático para enseñar a una máquina a resolver una tarea que contiene variables nunca antes vistas utilizando lo que ya ha aprendido.

Google no utiliza toda la investigación en sus algoritmos

La declaración oficial de Google sobre los trabajos de investigación es que el hecho de que publique un algoritmo no significa que esté en uso en la Búsqueda de Google.

Nada en el trabajo de investigación dice que debe usarse en la búsqueda.. Pero lo que hace que esta investigación sea de interés es que avanza el estado del arte y mejora la tecnología actual.

El valor de ser consciente de la tecnología

Las personas que no saben cómo funcionan los motores de búsqueda pueden terminar entendiéndolo en términos que son pura especulación.

Así es como la industria de búsqueda terminó con ideas falsas como «palabras clave LSI» y estrategias sin sentido como tratar de vencer a la competencia mediante la creación de contenido que es diez veces mejor (o simplemente más grande) que el contenido de la competencia, sin tener en cuenta lo que los usuarios

El valor de conocer estos algoritmos y técnicas es estar al tanto de los contornos generales de lo que sucede en los motores de búsqueda para no cometer el error de subestimar lo que los motores de búsqueda son capaces de hacer.

El problema que resuelve Google FLAN

El principal problema que resuelve esta técnica es permitir que una máquina use su gran cantidad de conocimiento para resolver tareas del mundo real.

El enfoque le enseña a la máquina cómo generalizar la resolución de problemas para poder resolver problemas no vistos.

Lo hace alimentando instrucciones para resolver problemas específicos y luego generalizando esas instrucciones para resolver otros problemas.

Los investigadores afirman:

“The model is fine-tuned on disparate sets of instructions and generalizes to unseen instructions. As more types of tasks are added to the fine-tuning data model performance improves.

…We show that by training a model on these instructions it not only becomes good at solving the kinds of instructions it has seen during training but becomes good at following instructions in general.”

“El modelo se ajusta con precisión en conjuntos dispares de instrucciones y se generaliza a instrucciones invisibles. A medida que se agregan más tipos de tareas al modelo de datos de ajuste fino, mejora el rendimiento.

… Demostramos que al entrenar a un modelo con estas instrucciones, no solo se vuelve bueno para resolver los tipos de instrucciones que ha visto durante el entrenamiento, sino que se vuelve bueno para seguir las instrucciones en general”.

El trabajo de investigación cita una técnica popular actual llamada «indicación de cero o pocos intentos» que entrena a una máquina para resolver un problema de lenguaje específico y describe la deficiencia de esta técnica.

Haciendo referencia a la técnica de indicación de disparo cero/pocos disparos:

“This technique formulates a task based on text that a language model might have seen during training, where then the language model generates the answer by completing the text.

For instance, to classify the sentiment of a movie review, a language model might be given the sentence, “The movie review ‘best RomCom since Pretty Woman’ is _” and be asked to complete the sentence with either the word “positive” or “negative”.”

“Esta técnica formula una tarea basada en un texto que un modelo de lenguaje podría haber visto durante el entrenamiento, donde luego el modelo de lenguaje genera la respuesta completando el texto.

Por ejemplo, para clasificar el sentimiento de una reseña de una película, se le puede dar a un modelo de lenguaje la oración: «La reseña de la película ‘la mejor comedia romántica desde Pretty Woman’ es _» y se le puede pedir que complete la oración con la palabra «positivo» o

Los investigadores señalan que el enfoque de disparo cero funciona bien, pero que el rendimiento debe medirse frente a tareas que el modelo ha visto anteriormente.

Los investigadores escriben:

“…it requires careful prompt engineering to design tasks to look like data that the model has seen during training…”

«… requiere una ingeniería rápida y cuidadosa para diseñar tareas que se parezcan a los datos que el modelo ha visto durante el entrenamiento…»

Y ese tipo de carencias es lo que soluciona FLAN. Debido a que las instrucciones de entrenamiento son generalizadas, el modelo puede resolver más problemas, incluida la resolución de tareas en las que no ha sido entrenado previamente.

¿Podría Google Flan estar en uso?

Google rara vez discute trabajos de investigación específicos y si lo que se describe está en uso o no.. La postura oficial de Google sobre los trabajos de investigación que publica muchos de ellos y que no necesariamente terminan en su algoritmo de clasificación de búsqueda.

Google generalmente es opaco sobre lo que hay en sus algoritmos y con razón.

Incluso cuando anuncia nuevas tecnologías, Google tiende a darles nombres que no se corresponden con los trabajos de investigación publicados.. Por ejemplo, nombres como Neural Matching y Rank Brain no se corresponden con trabajos de investigación específicos.

Es importante revisar el éxito de la investigación porque algunas investigaciones no alcanzan sus objetivos y no funcionan tan bien como el estado actual en técnicas y algoritmos.

Los trabajos de investigación que se quedan cortos pueden ignorarse más o menos, pero es bueno conocerlos.

Los trabajos de investigación que son de mayor valor para la comunidad de marketing de búsqueda son aquellos que tienen éxito y funcionan significativamente mejor que el estado actual del arte.

Y ese es el caso de FLAN de Google.

FLAN mejora el estado actual del arte y por esa razón FLAN es algo a tener en cuenta.

Los investigadores señalaron:

“We evaluated FLAN on 25 tasks and found that it improves over zero-shot prompting on all but four of them. We found that our results are better than zero-shot GPT-3 on 20 of 25 tasks, and better than even few-shot GPT-3 on some tasks.”

“Evaluamos FLAN en 25 tareas y descubrimos que mejora con respecto a las indicaciones de disparo cero en todas menos cuatro de ellas.. Descubrimos que nuestros resultados son mejores que GPT-3 de cero disparos en 20 de 25 tareas, y mejores incluso que GPT-3 de pocos disparos en algunas tareas”.

Inferencia de lenguaje natural

La tarea de inferencia de lenguaje natural es aquella en la que la máquina tiene que determinar si una premisa dada es verdadera, falsa o indeterminada/neutral (ni verdadera ni falsa).

Desempeño de inferencia de lenguaje natural de FLAN

Comprensión lectora

Esta es una tarea de responder una pregunta basada en el contenido de un documento.

Rendimiento de comprensión de lectura de FLAN

Control de calidad de libro cerrado

Esta es la capacidad de responder preguntas con datos fácticos, lo que pone a prueba la capacidad de relacionar hechos conocidos con las preguntas.. Un ejemplo es responder preguntas como de qué color es el cielo o quién fue el primer presidente de los Estados Unidos.

Desempeño de control de calidad de libro cerrado de FLAN

¿Google está usando FLAN?

Como se indicó anteriormente, Google generalmente no confirma si está utilizando un algoritmo o técnica específica.

Sin embargo, el hecho de que esta técnica en particular haga avanzar el estado del arte podría significar que no es descabellado especular que alguna forma podría integrarse en el algoritmo de Google, mejorando su capacidad para responder consultas de búsqueda.

Esta investigación fue publicada el 28 de octubre de 2021.

¿Podría haberse incorporado algo de esto en la reciente actualización del algoritmo central?

Las actualizaciones del algoritmo central generalmente se enfocan en comprender mejor las consultas y las páginas web y proporcionar mejores respuestas.

Uno solo puede especular ya que Google rara vez comparte detalles, especialmente con respecto a las actualizaciones del algoritmo central.

Citación

Presentamos FLAN: modelos de lenguaje más generalizables con ajuste fino de instrucciones Introducing FLAN: More generalizable Language Models with Instruction Fine-Tuning

Imagen de Shutterstock

Leer el articulo original en Search Engine Journal.

¡Danos un Voto!

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

¿Tienes una pregunta?

Luis Narciso
Sobre SEO
(Posicionamiento Web)

Frank Fajardo
Sobre Diseño Web, Anuncios, Diseño y Redes Sociales