¿Esto es real?: La IA generativa y la desinformación en las comunidades latinas plantean nuevos riesgos
Falsas interacciones con agentes de ICE o recreaciones ficticias de hechos históricos de los chicanos y latinos se viralizan diariamente en las redes sociales sin ninguna advertencia ni contención por parte de las plataformas.
Click here to read in English
Texto por Roberto Camacho, @rob_camacho_sd
Editado y traducido por Douglas Gómez Barrueta
La inteligencia artificial está cambiando fundamentalmente la forma en que se propaga la desinformación. A medida que la IA generativa inunda el panorama digital, la lucha por separar la realidad de la ficción se ha sentido de manera especial en las comunidades latinas, que reciben ahora cada vez más videos e imágenes generados por esta tecnología. Esto se ve impulsado por la menor moderación de contenidos en español por parte de las plataformas de redes sociales y por una alta dependencia de fuentes digitales no verificadas por parte de las comunidades latinas.
La tendencia incluso se ha colado en el ámbito de la inmigración, a medida que los videos virales de encuentros violentos y mortales entre agentes de ICE y personas se han convertido en puntos de conflicto político en los EE. UU. Un video con más de 8.5 millones de vistas muestra a una oficial de policía del NYPD (Departamento de Policía de la Ciudad de Nueva York) enfrentando verbalmente a un agente de ICE antes de arrancarle la máscara. Otro, con casi 6 millones de vistas, muestra a una mujer mexicana golpeando a un agente.
Los enfrentamientos son impactantes, pero hay algo en ellos que genera sospechas sobre su verosimilitud. Los movimientos de las personas se ven raros. Las letras y la señalización en el fondo no tienen sentido, y el diálogo en los dramáticos enfrentamientos suena ensayado o robótico. Los videos en cuestión están generados por IA. Son uno entre miles dentro de un preocupante subgénero de contenido de "basura de IA" (AI-slop) que retrata encuentros falsos entre personas y agentes de ICE.
suscríbete al boletín de palabra
Capturas de pantalla de videos generados por IA que muestran situaciones en las que personas se resisten a agentes del ICE y los agreden.
Crédito: Captura de pantalla de la página de Facebook de Mike Wayne.
Mike Wayne es una de las cuentas de Facebook e Instagram más prolíficas en la creación de videos generados por IA sobre ICE. Ha publicado miles de contenidos audiovisuales falsos. Con frecuencia muestran a personas no blancas resistiéndose, enfrentando o atacando físicamente a agentes de ICE, estos videos acumulan millones de reproducciones. El creador detrás de la página no respondió a la solicitud de comentarios de palabra.
Jeremy Carrasco es el fundador de Riddance, una empresa de inteligencia de medios que rastrea contenido generado por IA en redes sociales. También crea videos de alfabetización mediática y sobre IA como JeremyFindsAI en canales de redes sociales para ayudar a la gente a identificar contenidos sintéticos y entender dónde obtener información y entretenimiento hechos por humanos. Carrasco dice que las situaciones retratadas en los videos generados por IA sobre interacciones falsas con ICE establecen una falsa premisa de seguridad y, en última instancia, una realidad ilusoria que no refleja los peligros del mundo real.
La IA fractura nuestra realidad
A principios de este año, el área metropolitana de Minneapolis y St. Paul en Minnesota se vio sacudida por dos tiroteos de alto perfil en los que murieron Renee Good y Alex Pretti durante una operación de control migratorio a gran escala llevada a cabo por ICE y la Oficina de Aduanas y Protección Fronteriza en Minnesota entre diciembre de 2025 y febrero de 2026 denominada Operación Metro Surge. Carrasco, quien radica en St. Paul, dice que el caos y la confusión posteriores a ambos tiroteos subrayan el riesgo inherente de los videos que tergiversan las realidades y el peligro muy real que enfrentan tanto los ciudadanos como las personas indocumentadas durante las interacciones con ICE.
Apoya las voces de periodistas independientes.
|
“Estos videos no representan la realidad en absoluto. Y en el caso de las interacciones con ICE hechas por IA, muestran de forma errónea cómo funciona la ley o cómo la ley protegería a las personas indocumentadas”, explicó Carrasco. “La idea de que agentes de ICE recibirían de buen grado este tipo de interacciones no se sostiene en los videos reales sobre ellos, donde en realidad son bastante agresivos y no responderían de buena manera a alguien que les arroje comida”.
Carrasco dijo que las cuentas generadas por IA a menudo no tienen motivaciones específicas más allá de obtener vistas y atención, y no se toma en cuenta si el contenido es desinformativo o perjudicial.
“A menudo, esos factores no son considerados explícitamente por la persona o la entidad que administra estas cuentas.Para ellos la IA puede ser un juego y por eso llenan las redes con contenidos artificiales de gente rociando gasolina a agentes de ICE, dándole bofetadas o con falsos arrestos, entre otros escenarios ficticios”, dijo Carrasco. “Para ellos, este es solo otro día spameando basura de IA, pero especialmente en este momento, están creando ruido y una realidad falsa cuando nuestra propia realidad necesita información real más que nunca”.
La página es solo una de varias que han publicado miles de videos de ICE generados por IA que se han vuelto virales en las plataformas de redes sociales de Meta. La desinformación y el contenido engañoso se han disparado en las plataformas de la empresa después de que Meta desmantelara su programa de verificación de datos y moderación de contenido tras las elecciones presidenciales de 2024 para tener menos restricciones en el contenido político.
Imagen generada por IA, diseñada para asemejarse a una antigua fotografía histórica que muestra a jóvenes mexicano-estadounidenses en la Whittier State School (conocida más tarde como Fred C. Nelles Youth Correctional Facility). Crédito: captura de pantalla de Lost Mexican America.
A pesar de este aumento, las empresas de tecnología parecen no inmutarse ante la proliferación de desinformación y contenido de IA. El CEO de Meta, Mark Zuckerberg, ha desestimado las preocupaciones sobre el enfoque más laxo de la compañía hacia la desinformación, llegando incluso a decir que sus cambios son un “equilibrio” que permitirá que circulen más “cosas malas” en las plataformas de redes sociales de Meta.
Sin embargo, la Junta de Supervisión independiente de Meta, a menudo denominada el “tribunal supremo” de la empresa, ha criticado repetidamente el manejo de material generado por IA por parte de la compañía, llegando a decir que las reglas de la empresa para abordar los deepfakes de IA son “consistente y fundamentalmente inadecuadas” para hacer frente a la explosión de este tipo de contenido en sus plataformas.
La junta también ha recomendado nueve cambios de política en Meta, incluida la degradación en los algoritmos del contenido etiquetado como de “alto riesgo”, lo que reduce la probabilidad de que aparezca en los feeds de los usuarios. También recomendó que Meta dificulte a los usuarios la visualización de contenido generado por IA mediante la introducción de una pantalla de advertencia que requiera hacer clic antes de ver dicho contenido. Sin embargo, los críticos y la propia junta han reconocido que ha luchado por corregir fallas de aplicación sistémicas, reducir la dependencia excesiva de Meta en la moderación automatizada, y que no tiene influencia para dirigir las decisiones fundamentales de producto, negocio o ingeniería de la empresa.
Imagen generada por IA, diseñada para asemejarse a una antigua fotografía histórica que muestra murales en el complejo de vivienda Estrada Courts, en el este de Los Ángeles. Crédito: captura de pantalla de Lost Mexican America.
La Dra. Jieun Shin, profesora asociada en la Facultad de Periodismo y Comunicaciones de la Universidad de Florida, enseña e investiga la dinámica de las redes sociales con un enfoque en la verificación de hechos y la propagación de la desinformación. Shin señala que, si bien la información engañosa siempre ha existido, el problema solo se ha exacerbado por la incapacidad de las plataformas de redes sociales para implementar la moderación del contenido generado por IA. Ahora, la IA generativa ha permitido a los malos actores generar desinformación a una escala sin precedentes. “La desinformación solía ser un problema de distribución. Con la IA, la desinformación es cada vez más un problema de producción”, enfatizó Shin. “La IA hace que sea realmente fácil generar una gran cantidad de información falsa, ya sea video o audio, a escala, de forma barata y a un ritmo cada vez más rápido. Y esto ha cambiado fundamentalmente la escala y la velocidad del desafío”.
Distorsionar la historia de los latinos en EE.UU.
El video de IA generativa tampoco es el único formato dirigido a los latinos en línea. Cuentas que difunden contenido de baja calidad generado por IA, haciéndose pasar por páginas dedicadas a la historia chicana o latina, han logrado arraigarse especialmente entre el público latino en diversas redes sociales. Páginas generadas por IA, como Lost Mexican America en Facebook e Instagram, se dirigen a chicanos/mexicano-estadounidenses de habla inglesa. Otra página, Raíces Mexicanas MX, aplica la misma estrategia, dirigiéndose a una audiencia de habla hispana, produciendo docenas de publicaciones diarias en las plataformas de Meta. Otras páginas tienen audiencias aún mayores: Mexican American Roots tiene más de 90,000 seguidores en sus páginas de Facebook e Instagram. En todas las plataformas de Meta, las tres páginas acumulan de forma conjunta cientos de miles de seguidores, con publicaciones que se vuelven virales con regularidad. Ninguno de los administradores de las páginas respondió a las solicitudes de comentarios de palabra.
Imagen generada por IA, diseñada para asemejarse a una antigua fotografía histórica que muestra la segregación en piscinas en el suroeste de Estados Unidos. Crédito: captura de pantalla de Raíces Mexicanas MX.
Muchas imágenes creadas por las páginas están hechas intencionalmente para parecerse a fotos históricas reales, a menudo sin etiquetas de IA ni descargos de responsabilidad para informar a las audiencias. La información compartida por las páginas también suele incluir errores, omisiones y medias verdades. Esto ha generado preocupación entre educadores e historiadores sobre los peligros de la pseudohistoria en las redes sociales y el riesgo real de desplazar fuentes primarias reales y fotografía histórica en línea con imágenes falsas generadas por IA.
El Dr. Santos Felipe Ramos, profesor asociado y coordinador del Programa de Estudios Latinoamericanos y Latinos/as en Grand Valley State University, ha hablado sobre el vertiginoso aumento en el número de cuentas en redes sociales que usan IA para generar contenido sobre la historia chicana/latina e indígena y el impacto negativo que tienen en las comunidades.
Ramos dice que los chicanos y mexicano-estadounidenses son particularmente susceptibles porque se aprovechan de los factores emocionales y culturales que impulsan a las personas a buscar tal contenido. “Para los mexicano-estadounidenses en particular, las cuentas de historia con IA explotan la herencia indígena de la comunidad. Visualmente, presentan la idea de: ‘aquí está cómo se veían nuestros antepasados hace miles de años... aquí está cómo hemos sido oprimidos... pero estamos muy orgullosos de quiénes somos culturalmente y estamos luchando’”, dijo Ramos. “Estas cuentas están dispuestas a decirte cualquier cosa con tal de mantenerte enganchado”.
Imagen generada por inteligencia artificial que muestra a estudiantes sosteniendo carteles en blanco, diseñada para asemejarse a una antigua fotografía histórica que retrata la protesta estudiantil chicana en la escuela secundaria Gillett (Gillett Junior High) en Kingsville, Texas, en 1969. Crédito: captura de pantalla de Lost Mexican America.
Ramos dice que, además de perpetuar información y narrativas falsas, las cuentas que buscan divulgar historia con contenidos generados por IA también silencian a las comunidades chicanas/latinas al despojar a los usuarios de las experiencias compartidas y de las interacciones humanas directas que se requieren para el intercambio cultural. “Las páginas de contenido basura de IA reemplazan las voces de personas reales y manipulan a nuestras comunidades”, dijo Ramos. “El propósito de la cultura, el arte, la música, las historias, etc., no se trata simplemente de recopilar y acaparar información. Se trata de la conexión humana, y literalmente nos estamos reemplazando a nosotros mismos y nuestra conexión mutua cuando impulsamos la música, el arte y la historia generados por IA”.
Durante años, los investigadores también han sabido que las personas de habla hispana o quienes hablan inglés como segundo idioma son más vulnerables a la desinformación en línea. Esto se debe en gran medida a la menor inversión de recursos en moderar el contenido en español, una mayor dependencia de las redes sociales y aplicaciones de mensajería entre los latinos para consumir noticias, que individuos o grupos malintencionados aprovechan con frecuencia las inquietudes culturales para sus propios fines. La IA generativa, sin embargo, ha amplificado el alcance de la desinformación en línea.
Antes del boom de la IA generativa, un estudio de la organización sin fines de lucro de derechos humanos Avaaz reveló que los latinos tienen una mayor propensión a ser víctimas de la desinformación en Facebook. El idioma explica gran parte de esta disparidad: la desinformación en contenidos en español se detecta y señala en aproximadamente 30 % de los casos, mientras que, en los contenidos en inglés, la tasa de detección es mucho mayor, alcanzando un promedio de 70%.
Marisa Abrajano, profesora de Ciencia Política en UC San Diego, fue coautora de un estudio publicado en PNAS Nexus que revela que los latinos que dependen de las redes sociales en español para informarse tenían significativamente más probabilidades de creer en narrativas políticas falsas que quienes consumen contenido en inglés. Abrajano afirma que buscar la viralidad o la monetización apoyándose en contenido controversial o emocionalmente cargado a través de medios en línea no es nada nuevo.
Sin embargo, la capacidad de crear fotos y videos muy realistas con IA generativa ha complicado significativamente el entorno informativo. Abrajano también señala que la desinformación a menudo se comparte dentro de redes personales de confianza, como miembros de la familia, páginas comunitarias o cuentas independientes no verificadas en redes sociales, lo que hace que las afirmaciones falsas parezcan más auténticas y dominantes.
Imagen generada por IA, diseñada para asemejarse a una antigua fotografía histórica de niños mexicoestadounidenses en el aula de una escuela primaria. Crédito: captura de pantalla de Mexican American Roots.
“Incluso para la persona más educada y astuta en política, detectar videos falsos frente a los reales no es algo tan sencillo”, dijo Abrajano. “La carga recae en los individuos para querer aprender qué es real y qué es falso, y a menudo la gente simplemente no tiene el tiempo ni los recursos para hacerlo”.
Esa tendencia parece observarse también en las páginas generadas por IA. Páginas como Raíces Mexicanas MX, dirigidas a audiencias de habla hispana, no incluye ninguna advertencia en Facebook. Ninguna de las cuentas de Instagram asociadas tenía etiquetado alguno para imágenes o videos generados por IA. Meta no respondió a múltiples solicitudes de comentarios por parte de palabra sobre cómo sus plataformas gestionan la desinformación generada por IA o su impacto a través de sus redes.
“Incluso para la persona más educada y astuta en política, detectar videos falsos frente a los reales no es algo tan sencillo”, dijo Abrajano. “La carga recae en los individuos para querer aprender qué es real y qué es falso, y a menudo la gente simplemente no tiene el tiempo ni los recursos para hacerlo”.
—Marisa Abrajano, profesora de Ciencia Política en UC San Diego
Hacer frente a la desinformación generada por IA
El etiquetado inconsistente subraya cómo el enfoque de las empresas de tecnología para abordar la desinformación por IA ha sido, en el mejor de los casos, irregular y fragmentario. Algunas empresas tecnológicas han tomado enfoques proactivos para abordar la verificación de imágenes. En 2021, Adobe, Arm, BBC, Intel, Microsoft y Truepic fundaron la C2PA (Coalición para la Procedencia y Autenticidad del Contenido), un estándar técnico de código abierto que integra metadatos a prueba de manipulaciones directamente dentro de los archivos digitales para rastrear su origen e historial de edición. La coalición se creó para desarrollar estándares técnicos abiertos que certifiquen la fuente, el historial y la evolución de los contenidos digitales para combatir la desinformación en línea.
La mezcla de empresas tecnológicas y de redes sociales con variados grados de compromiso para abordar la desinformación generada por IA ha dejado a los usuarios en un territorio salvaje digital donde aún falta supervisión. Los expertos siguen divididos sobre qué enfoque es el mejor para abordar el contenido generado por IA y la desinformación. Sin embargo, la mayoría coincide en que las empresas tecnológicas y las plataformas de redes sociales deben asumir un papel más proactivo en la moderación del contenido y en la atención al contenido deliberadamente engañoso.
“Esto es algo que deben hacer las plataformas. Ellas deben ser las incentivadas para solucionar este problema”, dijo Jeremy Carrasco. “Las plataformas de redes sociales realmente tienen que tomárselo muy en serio muy pronto, porque en este momento, los medios generados por IA todavía son detectables por algunos tipos de personas comunes. Lo que significa que teóricamente aún se podría comenzar a escalar una solución. En este momento todavía es abordable”.
Imagen generada por IA publicada por Raíces Mexicanas MX, una página de Facebook dedicada a difundir contenido de baja calidad creado con IA y dirigida a hispanohablantes; la imagen está diseñada para parecerse a una antigua fotografía histórica de trabajadores del Programa Bracero. Crédito: captura de pantalla de Raíces Mexicanas MX.
Carrasco cree que el periodismo local ha sido subestimado en su capacidad para combatir la desinformación. “En situaciones de rápida evolución y noticias de última hora realmente importantes, en realidad es fundamental acudir a una fuente de noticias que verifique los medios antes de publicarlos. Lo que significa que no sean páginas de memes ni republicadores individuales”, dijo Carrasco. “Cuando estás en estos escenarios, es poco práctico confiar simplemente en cosas aleatorias que aparecen en tu feed. Desafortunadamente, así es como la mayoría de la gente consume medios”.
Otros, como el Dr. Ramos, consideran que se debe ejercer más presión tanto sobre el gobierno federal como sobre las empresas tecnológicas para que se tomen en serio las preocupaciones de seguridad, y que las comunidades marginadas en particular deben esforzarse por construir espacios de convivencia fuera del ámbito digital. “Si bien es importante que nos resistamos a la IA como individuos, la verdadera rendición de cuentas debe ocurrir a nivel estructural. Las empresas de redes sociales deben regular el uso de la IA en sus plataformas, y no lo harán sin legislación que se lo exija, y nuestro gobierno, desafortunadamente, no lo hará sin la presión de nuestras comunidades”, concluyó Ramos. “Creo que tenemos dos caminos principales para luchar contra la IA en este contexto:uno es presionar al gobierno y a las empresas tecnológicas para que aprueben regulaciones sobre la IA, y el otro es construir comunidad fuera de estos contextos virtuales por completo”.
—
Roberto Camacho es un periodista multimedia chicano de San Diego, California. Es egresado de la Escuela de Periodismo y Comunicación de Masas Walter Cronkite de la Universidad Estatal de Arizona. Su labor periodística se centra, por lo general, en la reforma de la justicia penal, la inmigración, los temas relacionados con la comunidad chicana/latina y la cultura hip-hop, así como en la intersección de todos estos ámbitos con la justicia social. @rob_camacho_SD