El próximo tsunami de falsificaciones. Teoría de la internet muerta, parte 2

La entrada de la teoría de la internet muerta ha sido una de las más visitadas del blog en los últimos 2 años, pues bien hoy comparto vía el substack del usuario Monsieur Grandy , una ampliación de dicha narrativa.

Nuestra historia colectiva es una narrativa mayoritariamente compartida, construida en torno a textos grabados y creados por humanos. En el lenguaje de la web, lo llamaríamos una forma de «contenido generado por el usuario». Y desde que existe Internet, la inmensa mayoría de los contenidos consumidos habían sido generados por el usuario (humano).

Cabe señalar que, a lo largo de la historia (siglo IV a.C.), el medio elegido ha sido la palabra escrita (texto). No fue hasta el daguerrotipo para las imágenes, el fonoautógrafo para el audio y el disco de Nipkow para el vídeo, que empezaron a surgir y a generalizarse formas de contenido más complejas y con más información. Y todo ello en los últimos 180 años.

Cuando se cumplen unos 30 años de historia de la red, las formas dominantes de contenido han ascendido de forma bastante monótona en la escala de carga de información e inmersión. A grandes rasgos,

texto < audio < imágenes < vídeos < 3D < RV

En los primeros días de Internet, el texto era la forma dominante de contenido compartido (piensa en los foros de la vieja escuela). Después vinieron el audio y las imágenes (MySpace, Facebook, Instagram). Y por último, el vídeo (YouTube, TikTok). Según un estudio de 2013, los vídeos generan un 1200% más de comparticiones que las imágenes y el texto juntos.

Tal vez sea que todos somos adictos a la dopamina en el fondo y ascender en la cadena de la información la mantiene bombeando más intensamente. O quizás sea porque es más lo que experimentamos todo el día. En cualquier caso, esto explica la apuesta de Meta de más de 10.000 millones de dólares de que la RV (realidad virtual) será el medio de la próxima plataforma dominante.

La teoría de la Internet muerta– que se hizo viral hace un par de años, postulaba que Internet es una tierra de nadie de bots y falsificaciones.

Si buscas la frase I hate texting en Twitter y te desplazas hacia abajo, empezarás a notar un patrón. Una cuenta con el nombre @pixyIuvr y un corazón brillante como imagen de perfil tuitea: «I hate texting I just want to hold ur hand» (odio los mensajes de texto, sólo quiero coger tu mano), recibiendo 16.000 likes. Una cuenta con el nombre @f41rygf y una esfera rosa como imagen de perfil tuitea: «I hate texting just come live with me», recibiendo casi 33.000 likes. Una cuenta con el nombre @itspureluv y una esfera rosa como imagen de perfil tuitea: «iIhate texting I just wanna kiss u», recibiendo más de 48.000 likes.

He aquí algunos estudios del caso (trata las cifras con sano escepticismo, es imposible determinarlas de forma fiable):

Elon Musk estima que el 20% de los usuarios de Twitter son bots. Los autores de este artículo sugieren un 14% como límite superior.
Supuestamente, el 10% -o alrededor de 95 millones- de las cuentas de Instagram son cuentas de bots/spam.
En un estudio sobre la primera destitución de Donald Trump (el mismo artículo enlazado anteriormente), los bots representaban el 1% de los usuarios activos, pero publicaron el 31% de los tuits.
Un 42% de las reseñas de Amazon son falsas. Amazon demanda a Facebook por «no atajar las fábricas de reseñas falsas.
TikTok tampoco es inmune. Los bots están inflando artificialmente la popularidad de las cuentas y publicando vídeos que son esencialmente anuncios. Aquí tienes una guía completa para comprar bots en TikTok.
Según este artículo, «más del 80 por ciento de los NFT acuñados de forma gratuita en OpenSea son falsos, plagiados o spam«.

La cuestión es que, una vez que se crea una cuenta, es trivial publicar computacionalmente nuevos contenidos e interactuar con los participantes de la plataforma. Y eso puede distorsionar artificialmente el debate.

¿Recuerdan el caso de Cambridge Analytica? El asunto demostró que es posible manipular a las personas a escala masiva por el contenido que consumen (en este caso concreto, anuncios políticos).

Pero todo ese contenido fue creado por humanos. Y los humanos son lentos para crear.

Las eras del contenido en la web empiezan a ser algo así

humano, contenido real < humano, contenido falso < IA, contenido falso

dominan los contenidos reales generados por personas reales
contenido falso generado por personas reales para engañar (piensa en las reseñas falsas, Cambridge Analytica, etc.).
Por último, la era del contenido falso creado por la IA.

A medida que los modelos generativos se vuelvan cada vez más sofisticados (GPT-3, DALL-E 2, Imagen, Copilot), ciertos aspectos de la Teoría de la Internet Muerta cobra más vigencia.

Todavía no han llegado a ese punto, pero, como siempre se pregunta Károly Zsolnai-Fehér, de Two Minute Papers, «¿qué aspecto tendrá esta tecnología dentro de dos años?». Teniendo en cuenta lo mucho que han avanzado los modelos generativos de texto, audio e imagen en sólo dos años, esta proposición debería ser alarmante.

En la actualidad, las versiones más atractivas de estos modelos se encuentran en gran medida detrás de los muros de las empresas, con acceso exclusivo mediante listas de espera a investigadores y profesiones específicas.

Pero a medida que los algoritmos mejoren y se reduzcan, se democratizarán cada vez más y estarán al alcance de cualquier persona con acceso a Internet.

¿Qué herramientas están disponibles -ahora mismo- para cualquiera? midjourney tiene un estupendo bot de Discord que permite hacer precisamente eso. Eleuther tiene una demo de GPT-J disponible. Hay montones de cuadernos de Google Colab disponibles (ejemplo) para jugar con todo esto. Stability.ai acaba de poner a disposición su modelo de generación de imágenes de difusión estable en huggingface y en su propio sitio web, creator.nightcafe.studio.

Y adivinen qué, estamos empezando a ver el efecto.

Este post generado por GPT-3 obtuvo 26.000 visitas y 60 suscriptores en un corto periodo de tiempo. Un comentario que sugería que era falso fue rápidamente descalificado y falsamente rebatido.

23 de agosto de 2022: se informó de que «un conjunto de hackers consiguió hacerse pasar por el director de comunicaciones (CCO) de Binance, Patrick Hillmann, en una serie de videollamadas con varios representantes de proyectos de criptodivisas.»
23 de agosto de 2022: un artículo en la portada de Hacker News sugería que podría haber un conjunto de artistas turbios en Spotify creando canciones generadas por la IA.
[Hay una industria artesanal de herramientas de «desnudo profundo» (por ejemplo) en las que los usuarios pueden subir fotos de mujeres vestidas y recibir una imagen de vuelta con la ropa quitada. Recientemente se ha presentado un Show HN en el que se muestra un GAN para desnudos falsos.
Dos investigadores de Stanford han descubierto el uso generalizado de cuentas falsas de LinkedIn creadas mediante IA. «Estos perfiles se dirigen a usuarios reales en un intento de aumentar el interés por determinadas empresas antes de pasar los contactos exitosos a un vendedor real».

Old man yelling at cloud

Pregunta: ¿Podemos innovar para salir de este problema?. Ya vendrán nuevas empresas y tecnologías para combatirlo. Sólo estás cayendo en la trampa en la que cayeron otros innumerables seres humanos cuando aparecieron las nuevas tecnologías. Básicamente, eres como ese movimiento que se manifiesta en contra de la legislación que obliga a la gente a usar el cinturón de seguridad.

Respuesta: Si es lo suficientemente convincente, la fabricación de contenidos es un problema irresoluble. La gente se cree las noticias falsas, incluso cuando las pruebas están delante de su cara. Si la gente no dedica tiempo a criticar la fuente, abrazará ciegamente el mensaje. Debido a las noticias falsas, la relación señal/ruido es mucho mayor de lo que estamos acostumbrados. Estamos en la cúspide de la generación de contenidos a una velocidad vertiginosa que promete consecuencias poco claras pero indudablemente perniciosas.

Un experimento

Para poner a prueba una teoría: ¿podría crear una cuenta de redes sociales medianamente «exitosa» cuyo contenido sea pura farsa, sin ningún tipo de marketing y simplemente publicando contenido? La respuesta: probablemente. Me imagino que el arte de la IA es popular, pero todavía no de forma explosiva. Probablemente hay suficiente gente en Instagram que carece de escepticismo para asumir que es falso.

Utilizando un modelo de difusión latente previamente entrenado (por @multimodalart), generé varios cientos de piezas de arte de IA. Creé una cuenta de Instagram y programé las mejores para subirlas una vez al día.

La cuenta está atrayendo un crecimiento a pequeña escala de unos 40 seguidores y un par de cientos de likes al día. También está generando algunos aplausos. He recibido una oferta de un galerista para exponer el arte. La gente me ha elogiado y me ha preguntado cuánto tiempo lleva cada obra, qué aplicaciones utilizo para crear las piezas (está marcado como arte digital, no físico), etc.

(Por cierto, no descarto la posibilidad de que incluso estos comentarios, mensajes y opiniones sean falsos. Pero a juzgar por el estilo, no lo creo).

Esto es una gota en el océano. Pero si una cuenta desechable y de bajo esfuerzo puede conseguir un pequeño pero leal número de seguidores en poco tiempo, ¿cuáles son los límites de lo que podría hacer un organismo altamente motivado, con mucho dinero y malicioso? Los algoritmos de recomendación empleados por los agregadores de redes sociales no están preparados para hacer frente a esto.

El contenido significa globos oculares. Un contenido atractivo significa compromiso. Compromiso significa captar la atención. Y la atención de la gente se puede convertir en un arma y manipular con relativa facilidad.

No es exagerado sugerir que en el futuro muchos influencers serán totalmente falsos. Fotos generadas, vídeos generados… Existencia generada.

Another midjourney image. Mindblowing.

Meta / TikTok / Twitter deberían invertir más en formas de eliminar los bots y el contenido falso generado en sus plataformas.

Para ser justos, es probable que sean conscientes de ello e inviertan tiempo, dinero y esfuerzo en el problema. Pero no pueden vigilar la etapa de generación de contenidos. A medida que los modelos generativos vayan madurando, los modelos discriminativos tendrán dificultades para distinguir el contenido generado por el modelo del contenido generado por el ser humano. Incluso si hicieran modelos razonablemente buenos para discriminar entre HGC (contenido generado por humanos) y BGC (contenido generado por bots), lo que es peor..:

Un umbral insuficiente del modelo, lo que lleva a que los bots generativos se apoderen de la plataforma, o sobrepasar el umbral del modelo, lo que conduce a un gran número de falsos positivos y a la prohibición por error de los creadores humanos genuinos.

Ambos resultados son perjudiciales.

¿Hacia dónde vamos a partir de ahora?

Si avanzamos hasta hoy, la definición de robot ha cambiado su significado original. Una fuente lo define como una máquina capaz de llevar a cabo una serie compleja de acciones de forma automática, especialmente una programable por ordenador. Esta nueva definición elimina la referencia explícita a la automatización del tedio, en favor de la automatización de, literalmente, cualquier cosa.

Mi predicción es que la oleada de contenidos que se avecina tendrá en su mayoría consecuencias perjudiciales. El avance tecnológico hará desaparecer algunas viejas profesiones (por ejemplo, artista digital), traerá otras nuevas y dará vida a las ya existentes (editores literarios).

Anecdóticamente, no creo que la gente esté preparada para lo que se avecina. Francamente, a la mayoría no le importará lo suficiente como para pensar en ello. Los adolescentes aburridos seguirán curioseando en las redes sociales. Las empresas de marketing hostiles seguirán lanzando campañas de manipulación de nuevos productos. Los estados nacionales seguirán compitiendo ferozmente entre sí en el campo de batalla online para intentar manipularnos con agendas opuestas.

Estos actores malintencionados no cambiarán, pero las herramientas que tienen a su disposición provocarán una avalancha de información contra una población que ya está luchando contra las noticias falsas y los periodos de atención más cortos. La democratización de la generación de contenidos de alta velocidad proporciona las llaves de una caja de Pandora para la que no estamos preparados.

¿Cuáles son los beneficios?. Los nuevos y divertidos filtros de Snapchat, la creación rápida de prototipos para los diseñadores de juegos y la posibilidad de que la gente ilustre sus propios libros infantiles (probablemente escritos por modelos de generación de texto…) son geniales, pero en general las ramificaciones para el futuro de Internet son sombrías.

La teoría de la Internet muerta, que parecía una conspiración, se convertirá rápidamente en nuestra expectativa por defecto.

Lo que está claro es que tendremos que adaptarnos a la nueva normalidad: que la mayoría de los contenidos online serán generados por máquinas, a veces por diversión, y a veces deformados por una agenda. Tenemos que asegurarnos de que nuestro consumo gravita hacia dominios y autores de confianza. Debemos aprender a ser escépticos con los contenidos.

También tenemos que innovar en herramientas que proporcionen pruebas de autoría y de que han sido creadas por un ser humano. Puede que nunca sea posible, pero conocer la fuente es un ideal al que debemos aspirar.