Contenidos
OpenAI presenta un sistema de moderación de IA que utiliza GPT-4 para reducir la carga mental de los moderadores humanos.
OpenAI anunció que ha desarrollado un sistema de inteligencia artificial que utiliza GPT-4 para ayudar con la moderación de contenido en plataformas en línea.
La compañía dice que este sistema permite una iteración más rápida de los cambios de políticas y un etiquetado de contenido más consistente que la moderación tradicional dirigida por humanos.
OpenAI dijo en su anuncio: announcement
“Content moderation plays a crucial role in sustaining the health of digital platforms. A content moderation system using GPT-4 results in much faster iteration on policy changes, reducing the cycle from months to hours.”
“La moderación de contenido juega un papel crucial en el mantenimiento de la salud de las plataformas digitales. Un sistema de moderación de contenido que utiliza GPT-4 da como resultado una iteración mucho más rápida de los cambios de políticas, lo que reduce el ciclo de meses a horas”.
Esta medida tiene como objetivo mejorar la coherencia en el etiquetado de contenidos, acelerar las actualizaciones de políticas y reducir la dependencia de moderadores humanos.
También podría tener un impacto positivo en la salud mental de los moderadores humanos, destacando el potencial de la IA para salvaguardar la salud mental en línea.
Desafíos en la moderación de contenido
OpenAI explicó que la moderación de contenido es un trabajo desafiante que requiere un esfuerzo meticuloso, una comprensión matizada del contexto y una adaptación continua a nuevos casos de uso.
Tradicionalmente, estas tareas que requieren mucha mano de obra han recaído en moderadores humanos. Revisan grandes volúmenes de contenido generado por usuarios para eliminar materiales dañinos o inapropiados.
Este puede ser un trabajo agotador mentalmente. Emplear IA para hacer el trabajo podría reducir potencialmente el costo humano de la moderación de contenido en línea. the human cost
Cómo funciona el sistema de inteligencia artificial de OpenAI
El nuevo sistema de OpenAI tiene como objetivo ayudar a los moderadores humanos mediante el uso de GPT-4 para interpretar políticas de contenido y emitir juicios de moderación.
Los expertos en políticas primero redactan pautas de contenido y etiquetan ejemplos que se alinean con la política.
Luego, GPT-4 asigna las etiquetas a los mismos ejemplos sin ver las respuestas del revisor.
Al comparar las etiquetas de GPT-4 con las etiquetas humanas, OpenAI puede refinar definiciones de políticas ambiguas y volver a entrenar la IA hasta que interprete las pautas de manera confiable.
Ejemplo
En una publicación de blog, OpenAI demuestra cómo un revisor humano podría aclarar las políticas cuando no están de acuerdo con una etiqueta que GPT-4 asigna al contenido.
En el siguiente ejemplo, un revisor humano etiquetó algo como K3 (que promueve daños no violentos), pero el GPT-4 consideró que no violaba la política de comportamiento ilícito.
Hacer que GPT-4 explique por qué eligió una etiqueta diferente le permite al revisor humano comprender dónde las políticas no están claras.
Se dieron cuenta de que a GPT-4 le faltaba el matiz de que el robo de propiedad calificaría como promoción de daño no violento según la política K3.
Esta interacción resalta cómo la supervisión humana puede capacitar aún más a los sistemas de IA al aclarar las políticas en áreas donde el conocimiento de la IA es imperfecto.
Una vez que se comprende la política, GPT-4 se puede implementar para moderar el contenido a escala.
Beneficios destacados por OpenAI
OpenAI describió varios beneficios que cree que proporciona el sistema de moderación asistido por IA:
- Etiquetado más consistente, ya que la IA se adapta rápidamente a los cambios de políticas
- Ciclo de retroalimentación más rápido para mejorar las políticas y reducir los ciclos de actualización de meses a horas
- Carga mental reducida para los moderadores humanos
Hasta ese último punto, OpenAI debería considerar enfatizar los posibles beneficios de la moderación de la IA para la salud mental si quiere que la gente apoye la idea.
Usar GPT-4 para moderar contenido en lugar de humanos podría ayudar a muchos moderadores al evitarles tener que ver material traumático.
Este desarrollo puede disminuir la necesidad de que los moderadores humanos interactúen directamente con contenido ofensivo o dañino, reduciendo así su carga mental.
Limitaciones y consideraciones éticas
OpenAI reconoció que los juicios realizados por los modelos de IA pueden contener sesgos no deseados, por lo que los resultados deben ser monitoreados y validados. Enfatizó que los humanos deben permanecer “al tanto” de los casos complejos de moderación.
La compañía está explorando formas de mejorar las capacidades de GPT-4 y apunta a aprovechar la IA para identificar riesgos de contenido emergentes que puedan informar nuevas políticas.
Imagen de portada: sol bien/Shutterstock
Leer el articulo original en Search Engine Journal.
