Yoel Roth, anteriormente jefe de confianza y seguridad de Twitter (ahora X), está compartiendo sus preocupaciones sobre el futuro de la red social abierta y su capacidad para combatir la desinformación, el spam y otro contenido ilegal. En una reciente entrevista en el podcast revolution.social, Roth expresó su inquietud por la falta de herramientas de moderación disponibles para el «Fediverso».
También recordó momentos clave en Twitter, como la decisión de prohibir al presidente Trump, la desinformación propagada por granjas de bots rusas y cómo incluso el CEO Jack Dorsey fue víctima de estos bots.
Los desafíos clave de la moderación descentralizada
- Falta de Herramientas: Las plataformas que más abogan por el control comunitario (como Mastodon) son las que menos herramientas técnicas ofrecen a sus administradores.
- Economía Insostenible: La moderación es cara (modelos de Machine Learning, personal) y el modelo federado, basado en gran medida en el voluntariado, no ha demostrado ser económicamente sostenible.
- Privacidad vs. Seguridad: Un enfoque estricto en la privacidad puede impedir la recolección de datos (como IPs o identificadores de dispositivo) que son cruciales para el análisis forense y la lucha contra actores maliciosos.
La paradoja de las herramientas de moderación
Roth señaló que las comunidades que más apuestan por el control descentralizado son las que menos herramientas técnicas tienen para gestionar sus políticas. «Mirando a Mastodon, a otros servicios basados en ActivityPub, a Bluesky en sus inicios, y a Threads… lo que vimos fue que muchos de los servicios que se inclinaban más por el control comunitario daban a sus comunidades las menos herramientas técnicas», dijo.
«Si el objetivo del proyecto era aumentar la legitimidad democrática de la gobernanza, y lo que hemos hecho es dar un paso atrás en la gobernanza, entonces, ¿ha funcionado realmente?»
– Yoel Roth
También vio un «gran paso atrás» en la transparencia. Mientras que Twitter explicaba públicamente sus decisiones, en muchas plataformas abiertas los usuarios ven sus publicaciones desaparecer sin previo aviso ni justificación.
La economía de la moderación y el papel de la IA
Roth planteó los problemas económicos de la moderación en un sistema federado. Puso como ejemplo a la organización IFTAS (Federated Trust & Safety), que tuvo que cerrar muchos de sus proyectos por falta de fondos. «La economía de este enfoque federado para la confianza y la seguridad nunca cuadró. Y en mi opinión, todavía no lo hace», explicó.
Advirtió que la IA está cambiando el panorama. Hizo referencia a una investigación reciente de Stanford que encontró que los LLMs pueden ser incluso más convincentes que los humanos. Esto significa que una solución basada solo en el análisis del contenido no es suficiente.
«Si estás comenzando con el contenido, estás en una carrera armamentista contra los principales modelos de IA y ya has perdido», dijo Roth. En su lugar, sugirió que las empresas deben rastrear señales de comportamiento, como la creación de múltiples cuentas o el uso de automatización, para detectar a los malos actores.
