El gigante de los juegos Activision ha comenzado a escuchar las conversaciones de los jugadores mediante el uso de inteligencia artificial (IA) que analiza las conversaciones en busca de “toxicidad”, lo que genera preocupaciones sobre el exceso de vigilancia y la censura.
El programa Toxmod impulsado por IA desarrollado por la empresa de tecnología Modulate está diseñado específicamente para monitorear y gestionar las interacciones de los jugadores en tiempo real. Puede detectar y restringir “discurso de odio, lenguaje discriminatorio, sexismo, acoso y más” tanto en los chats de texto como de voz dentro del juego.
Ha estado escuchando a escondidas a los jugadores de “Call of Duty: Warzone” y “Call of Duty: Modern Warfare II”, ambos títulos de Activision, en Norteamérica. Según Frontline News , Toxmod supervisará a los jugadores de “Call of Duty: Modern Warfare III” de todo el mundo, excluyendo Asia, a partir de noviembre.
ToxMod no solo escucha el lenguaje que puede ser ofensivo, sino que también utiliza inteligencia artificial para determinar si se ha cometido una ofensa. Según PC Gamer , el programa puede «escuchar señales de conversación para determinar cómo reaccionan los demás participantes en la conversación ante el uso de [ciertos] términos».
Hasta ahora, el “equipo antitoxicidad” de Call of Duty ha restringido los chats de más de un millón de cuentas de juegos, se jactó la compañía en una publicación de blog. Los infractores reciben primero una advertencia y luego sanciones si reinciden.
Una de las preocupaciones centrales que plantea el despliegue de ToxMod es la posibilidad de que se produzca un exceso de vigilancia y censura. Si bien su objetivo es frenar el lenguaje ofensivo, también se basa en algoritmos de inteligencia artificial para evaluar si los participantes en una conversación se han ofendido.
Este enfoque plantea preguntas importantes sobre la capacidad de la IA para interpretar con precisión el contexto y los matices culturales. Por ejemplo, ciertas palabras o frases pueden usarse con humor o recuperarse dentro de comunidades específicas, pero la IA podría malinterpretarlas como ofensivas, lo que llevaría a la eliminación del contenido.
Además, ciertas palabras se consideran graciosas cuando las dicen algunas razas, pero se consideran insultos raciales si las dicen otras.
“Si bien la palabra n generalmente se considera un insulto vil, muchos jugadores que se identifican como negros o morenos la han reclamado y la usan de manera positiva dentro de sus comunidades”, dijo Modulate. «Si alguien dice la palabra n y claramente ofende a otros en el chat, eso será calificado mucho más severamente que lo que parece ser un uso reclamado que se incorpora naturalmente a una conversación».
Además, ToxMod ha sido programado para identificar lo que Modulate clasifica como «supremacistas blancos» y «extremistas de extrema derecha», categorizándolos como formas de «radicalización violenta».
Falsos positivos y se teme una censura injustificada
La adopción de herramientas de moderación de contenidos basadas en IA en la industria del juego ha provocado un debate más amplio sobre el papel de la inteligencia artificial en la comunicación en línea y sus implicaciones para la libertad de expresión. Esta tendencia puede entenderse en el contexto de los esfuerzos en curso para abordar la toxicidad, el acoso y el discurso de odio en las comunidades en línea.
Sin embargo, los criterios y la metodología detrás de este proceso de moderación no son completamente transparentes, lo que podría dar como resultado falsos positivos y censura injustificada de personas o grupos que no encajan en las categorías definidas. (Relacionado: La IA puede influir en las decisiones de las personas en situaciones de vida o muerte ) .
Aparte de la falta de contexto, los algoritmos de IA pueden estar sesgados y producir resultados injustos . Por ejemplo, una herramienta impulsada por IA puede marcar ciertos tipos de comportamiento como tóxicos con más frecuencia que otros, lo que lleva a una moderación injusta.
Luego están las preocupaciones sobre la privacidad. Las herramientas impulsadas por IA pueden recopilar y analizar datos personales , como registros de chat y grabaciones de voz, para identificar comportamientos tóxicos. Esto genera preocupaciones sobre la privacidad y la protección de datos.
Algunas personas pueden estar preocupadas por la falta de transparencia en la forma en que se utilizan las herramientas basadas en inteligencia artificial para moderar los juegos en línea. Es posible que no comprendan cómo funcionan los algoritmos o cómo se toman las decisiones.
–
FUENTE
cybermedios.org 