Moderación de contenido

¿Qué es la moderación de contenidos?

La moderación de contenidos es el proceso de revisar y supervisar los contenidos generados por los usuarios (CGU) y los contenidos generativos de IA para garantizar que no sean ofensivos, dañinos, engañosos, ilegales o inapropiados por cualquier otro motivo. Una moderación eficaz puede contribuir a crear un entorno en línea seguro y positivo para las personas y el público en general.

Cómo funciona la moderación de contenidos

Los contenidos pueden revisarse para garantizar que cumplen las normas y directrices antes de que sean visibles públicamente, o pueden publicarse y revisarse después. El proceso en sí puede automatizarse, llevarse a cabo manualmente o utilizar un enfoque híbrido que incluya humanos en el bucle.

• Moderación manual: Los moderadores humanos son contratados para revisar el contenido de una plataforma específica y son responsables de eliminar manualmente el contenido que no cumple con las directrices especificadas.
• Moderación basada en la comunidad: Los miembros de la comunidad de una plataforma revisan y moderan ellos mismos los contenidos votando a favor o en contra. Los miembros de la comunidad también pueden tener derecho a marcar o eliminar contenidos inapropiados.
• Moderación automática: En este enfoque, los algoritmos de aprendizaje automático (ML) o las herramientas de raspado web extraen el contenido publicado en Internet y marcan determinados tipos de contenido en función de criterios predefinidos o patrones de datos conocidos. A continuación, los sistemas de automatización de procesos robóticos (RPA) pueden actuar sobre el contenido marcado y eliminarlo o llevar a cabo alguna otra respuesta predefinida.
• Moderación híbrida: Los moderadores humanos revisan el contenido que ha sido marcado por algoritmos de ML y luego lo eliminan o llevan a cabo alguna otra respuesta predefinida, como ponerse en contacto con las fuerzas del orden.

Moderación de contenidos y libertad de expresión

Cuando las plataformas de redes sociales y los sitios web que permitían comentarios no controlados empezaron a utilizarse para difundir discursos de odio y desinformación, la necesidad de moderar los contenidos se convirtió rápidamente en un tema de debate creciente en los medios de comunicación y entre los responsables políticos.

En las primeras fases de aplicación de las medidas de moderación de contenidos, surgió la preocupación por el delicado equilibrio entre el mantenimiento de un entorno en línea seguro y la defensa de los principios de la libertad de expresión.

El temor a la censura y a la parcialidad en la eliminación de contenidos suscitó debates sobre hasta qué punto las plataformas de redes sociales como Facebook y X (antes Twitter) debían ser responsables de vigilar los contenidos generados por los usuarios, y si estos esfuerzos podían reprimir inadvertidamente puntos de vista diversos y obstaculizar el libre intercambio de ideas en Internet.

Con el tiempo, el panorama de la moderación de contenidos y la libertad de expresión ha evolucionado en respuesta a una combinación de avances tecnológicos, marcos jurídicos y cambios en las expectativas de la sociedad.

La gente ha empezado a reconocer la necesidad de encontrar un equilibrio entre permitir opiniones diversas y evitar la difusión de contenidos perjudiciales o engañosos. En la UE, por ejemplo, gran parte de la Ley de Servicios Digitales se centra en la moderación de contenidos y en la responsabilidad que tienen las plataformas en línea de identificar la desinformación y eliminar los contenidos perjudiciales.

IA y moderación de contenidos

Al principio, la IA ofrecía la promesa de automatizar la detección y eliminación de contenidos inapropiados u ofensivos y proteger a los usuarios de la exposición a material potencialmente dañino.

Los modelos de IA entrenados en grandes conjuntos de datos de contenidos preetiquetados eran una herramienta eficaz para ayudar a identificar contenidos inapropiados o ilegales. Aunque este enfoque no siempre era eficaz al 100%, los estudios han demostrado que ha ayudado a prevenir la difusión de materiales inexactos, nocivos y perturbadores con mayor eficacia de lo que nunca fue posible con la moderación humana por sí sola.

La llegada de la IA generativa, sin embargo, introdujo un nuevo nivel de complejidad en los esfuerzos de moderación de contenidos. Las mismas tecnologías que impulsan la moderación de contenidos mediante IA también pueden utilizarse para elaborar información errónea convincente, desinformación, incitación al odio, falsificaciones profundas y otros contenidos nocivos que pueden eludir las técnicas de moderación más sofisticadas de la actualidad.

La coexistencia de la IA como moderadora y perpetradora potencial ha suscitado algunas preocupaciones importantes, como la necesidad de:

• Perfeccionar constantemente los algoritmos de IA multimodal para mejorar su capacidad de diferenciar entre contenidos auténticos y manipulados. La incorporación del contexto, la intención y los matices culturales en los modelos de moderación puede minimizar el riesgo de falsos positivos o negativos.
• Asegúrate de que las redes sociales y las plataformas de comentarios de los sitios web son transparentes sobre cómo utilizan la IA para la moderación de contenidos y las limitaciones de la tecnología.
• Educar a los usuarios sobre el posible uso indebido de los contenidos generados tanto por los usuarios como por la IA. Hoy, más que nunca, es importante apoyar iniciativas de alfabetización digital que capaciten a los usuarios para pensar de forma crítica.
• Mantener siempre informados a los moderadores humanos. Cuando se utiliza la IA para aumentar la inteligencia, las personas pueden aportar matices que la IA podría pasar por alto, especialmente al evaluar contenidos complejos o dependientes del contexto.
• Fomentar la colaboración entre investigadores de IA, especialistas en ética, responsables políticos y desarrolladores de plataformas para garantizar que la investigación en curso pueda identificar las amenazas emergentes y orientar las futuras tecnologías de moderación de contenidos.