Riot Games, empresa creadora del popular juego League of Legends, está haciendo uso del aprendizaje automático y la inteligencia artificial para combatir las agresiones verbales en su videojuego. Juicios que dependen de máquinas, no de personas.
Los insultos y el acoso verbal son dos problemas endémicos de las comunidades online desde su nacimiento, sobre todo en algunos videojuegos. El más claro ejemplo es League of Legends, juego famoso por su "tóxica comunidad": adolescentes y jóvenes protagonistas de estas practicas ayudados del anonimato y la adrenalina de un juego competitivo donde se recompensa las victorias y penalizan las derrotas en las partidas clasificatorias.
Desde los inicios del juego, ahora mismo el más popular si nos atenemos al número de jugadores online a diario, el abuso verbal ha sido uno de los grandes problemas para Riot Games. Impide el disfrute de las partidas de muchos jugadores, crea tensiones innecesarias y puede provocar el rechazo a seguir jugando de los nuevos.
Es fácil encontrar a muchos jugadores que comienzan, atraídos por el juego, y que se encuentran a cuatro compañeros que le insultan, se ríen de el y le culpabilizan por la derrota cuando en verdad, lo mejor sería ayudarlo, que es la forma con la que más posibilidades podrían ganar la partida. Pero muchos jugadores expulsan su frustración con insultos.
El día a día para muchos jugadores de League of Legends.
Riot Games tiene un equipo de científicos, diseñadores y psicólogos diseñando el sistema para mejorar las formas de interacción entre los jugadores de League of Legends. Equipo que, durante los últimos años ha estado experimentando con varios sistemas y técnicas, respaldadas por un sistema de aprendizaje automático (machine learning), diseñados para controlar como los jugadores interactúan entre sí. El objetivo es sancionar el comportamiento "tóxico" y premiar el positivo. Según Jeffrey Lin, jefe de diseño de los sistemas sociales en Riot Games, el resultado, recogido por MIT Technology Review, ha sido sorprendentemente positivo: de los millones de casos seguidos y castigados, el 92% no ha vuelto a reincidir.
Del trabajo humano...
Lin, neurocientífico cognitivo, cree que las técnicas de equipo usadas en empresas se pueden aplicar en el contexto online de los videojuegos, es más, piensa que han creado una especie de antídoto para el comportamiento negativo independientemente del contexto en el que se produce.
Imagen representativa del Tribunal, un grupo de jugadores voluntarios que juzgan si el comportamiento de los jugadores reportados está en línea con el espíritu del juego. Tiene un nombre y representación acorde al "lore" del juego.
El proyecto comenzó hace años, cuando el equipo introdujo a la comunidad un sistema de "juicios", denominado el Tribunal, para "castigar" a los jugadores que, con su comportamiento, estaban perjudicando al videojuego. En ese sistema los jugadores reportados por otros en una partida por un comportamiento no apropiado eran sometidos al juicio del Tribunal: un equipo de jugadores que, voluntariamente, decidían a través de los logs de chat de ese jugador si su comportamiento era aceptable o no. El sistema mitad automatizado, mitad humano, era bastante bueno. Según Lin el 98% de los veredictos estaban en línea con la opinión del equipo social de Riot Games.
...al automático
Millones y millones de incidencias eran tratadas de esta manera, gracias a la ayuda de muchos jugadores. El equipo social de League of Legends comenzó entonces a distinguir claros patrones en el lenguaje tóxico que los jugadores empleaban. Por ello, para aligerar los procesos, decidieron aplicar técnicas de aprendizaje automático a la ingente cantidad de datos que extraen cada hora de las miles de partidas que se juegan simultáneamente en el mundo.
Ilustración del Machine Learning. s6.ioEl último sistema, introducido hace unos meses, es controlado por Inteligencia Artificial en lugar de servirse del criterio de los jugadores. Ahora es, para Riot, muchísimo más eficiente encontrar a los jugadores tóxicos dentro del juego y lo que es más importante, poder ofrecerle "feedback" sobre lo que acaba de hacer mal. La diferencia entre advertir y castigar de inmediato a hacerlo semanas más tarde, como ocurría con el tribunal, es una de las mayores claves del éxito en la carrera por erradicar el mal comportamiento.
El sistema comenzó hace cuatro meses y fue anunciado en el blog de Riot. La empresa suele ser muy comunicativa con los jugadores y no duda en mostrar humanidad en el trato de estas cuestiones sociales. Experimentan y comunican los progresos y fallos.
El sistema se programó para que cuando un jugador reporte la actitud de otro, el sistema de inteligencia artificial determine si su actitud está en la línea del espíritu del juego o no. Por ejemplo, comentarios homofobos, racistas, sexistas, amenazas, etc. son castigados con dos semanas de baneo o, incluso, baneos permanentes si el infractor es reincidente. La clave es que, al hacerlo un algoritmo, la resolución se hace en unos pocos minutos en este orden:
Se comprueba si el reporte es falso o no.
Se localiza su historial de infracciones e histórico de chat.
Se genera una resolución al caso y un castigo acorde.
Se notifica al infractor.
Finalmente, el sistema notifica al jugador a través de un email con el log del chat, explicando qué ha hecho mal y porqué se le ha castigado. Es un castigo tras una acción y explicado, de forma que el jugador lo entienda más fácil que tras semanas sin acordarse ni qué dijo en qué partida.
El gran límite de los algoritmos es discernir el contextoApoyado por algoritmos y no por personas, el nuevo sistema ha mejorado drásticamente lo que Riot llama "reform rates. Cuando un jugador incurre en una penalización, como el impedimento a usar el chat durante decenas de partidas o no poder jugar clasificatorias, es considerado como reformado cuando no es penalizado de nuevo durante un periodo de tiempo.
El principal desafío para un algoritmo es discernir el contexto. Imaginad en un partido de futbol entre amigos, es normal que en ese contexto un insulto no ofenda en absoluto y el sarcasmo pueda ser hasta habitual en un ambiente de colegueo. Una máquina no sabe detectar el sarcasmo y es la mayor barrera que existe para poder depender sólo de ella a la hora de juzgar esos reportes. Un jugador no debería ser penalizado por gastar una broma en un contexto de felicidad y cooperación, sí lo debería cuando realiza amenazas e insultos en un ambiente hostil. Todavía es muy difícil para los algoritmos detectar estos contextos, como es difícil incluso para otras personas.
Lin y su equipo intentan resolver esos problemas con más sistemas de aprendizaje automático. Por ejemplo, aunque el sistema identifique comportamiento "tóxico" esa decisión es contrastada con otros sistemas para dar la validación final al veredicto. Cada reporte se validad con el historial de reportes correctos que ha realizado ese jugador. Hay muchos que reportan sin motivos y podría dar a error al sistema de juicio.
Todavía no hay una formula mágica
Lo importante siguen siendo los castigos diseñados para combatir cada caso determinado. Limitar el chat para los que insultan constantemente en las partida, también se premia el buen comportamiento, aunque debería ser el deber de cada jugador.
Los jugadores tóxicos no son malas personas por norma, simplemente tienen un mal díaLo más curioso es que Lin cree firmemente en la principal lección que ha aprendido de su trabajo tratando datos de millones de jugadores de todo tipo de demografía: "el comportamiento tóxico no proviene, necesariamente, de malas personas, suelen ser personas normales con un mal día", asegura Justin Reich para el MIT Technology Review, "nuestras estrategias tienen que estar dirigidas a combatir que se acepte socialmente sacar lo peor de nosotros bajo el anonimato que provee Internet."
Todavía no hay una formula mágica para combatir a los que causan problemas refugiados en el anonimato de Internet, ni hay solución constante e infalible a que cualquier persona tenga un mal día y lo pague con los demás en Internet. Nos pasa dentro y fuera de los videojuegos. Pero Riot Games cree en incentivar el cambio a través de juego, comunidad y vías de comunicación y experimentar con todas las ventajas que ofrece la Inteligencia Artificial y el aprendizaje automático, aunque todavía esté limitado su verdadero potencial.
