En los últimos años, el desarrollo de la inteligencia artificial ha propiciado el fenómeno del deepfake, una técnica de manipulación a través de la alteración del rostro y la voz. Si bien ha proliferado en memes y ha impulsado la creatividad digital, también se está utilizando para cometer estafas y crímenes en Chile. ¿Qué resguardos se pueden tomar?
Por: Daniel Moreno C.
Edición: Belén Mackenna
Tiempo de Lectura: 8 minutos
En los últimos meses se ha hecho conocido un video de Oil Profit, una plataforma fraudulenta de inversión en el que voces autorizadas como el presidente Gabriel Boric, el periodista Daniel Matamala y el empresario Leonardo Farkas, llaman a internautas a invertir en petróleo y en empresas públicas como Codelco, prometiendo ganancias de un millón de pesos con una inversión mínima y de manera automática. Si bien los cibernautas se dieron cuenta de la falsedad del vídeo, este es un aviso de cómo el deepfake y otras formas de IA están incursionando en el mundo del fraude.
Según el diccionario de Cambridge, el deepfake es un video o grabación de sonido que reemplaza la cara o la voz de alguien con la de otra persona, de una manera que parece real. El concepto deriva de deep learning (aprendizaje profundo) y fake (falsificación). Para crear un deepfake se necesita entrenar un modelo de Inteligencia Artificial, lo que usualmente se hace a través de redes generativas antagónicas (GAN por sus siglas en inglés). Las GAN tienen dos algoritmos: uno cumple el rol de “generador” y el otro de “discriminador”. El generador se encarga de utilizar los datos disponibles (imágenes y sonidos) para generar rostros y voces humanas con el contenido que se desea, mientras que el discriminador se encarga de detectar la veracidad o falsedad de los resultados producidos por el generador. De esta manera, ambos modelos compiten continuamente entre sí para que los datos generados sean cada vez más sofisticados y difíciles de detectar.
Sobre los modelos que hacen deepfakes, Felipe Urrutia, investigador del Centro Nacional de Inteligencia Artificial (CENIA), afirma que “pueden ser entrenados para que puedan incrustar una cara y esta se mueva en concordancia con respecto a su entorno. Tú lo puedes entrenar con muchos ejemplos y lograr que el modelo lo replique. Eso es por el uso de arquitecturas que se crean y por el uso de más datos y modelos más grandes, permitiendo que con el tiempo los resultados mejoren exponencialmente, siendo difícil determinar hasta donde se puede llegar”.
Los anuncios de Oil Profit circularon por las redes de meta por lo menos desde el mes de agosto. Desde ese entonces fueron denunciados por usuarios, y recientemente los anuncios fueron retirados de las plataformas. Cabe destacar que redes como Instagram o TikTok han probado modelos para intentar etiquetar de manera automática el contenido generado con IA subido a sus servidores. Pero de acuerdo con el newsroom de este último, siguen en la etapa de pruebas.
La evolución del deepfake
Por el momento, no se puede determinar el número de denuncias por fraudes y estafas utilizando deepfake a nivel nacional. René Araneda, comisario de la Brigada de Cibercrimen de la Policía de Investigaciones, sostiene que los funcionarios de la institución recibieron “seminarios y recursos sobre los peligros de su propagación con fines delictuales en el país”. Además, el oficial sostiene que están al tanto de su creciente masificación en países como Estados Unidos y que “en cualquier momento pueden llegar acá con fuerza, falta que se vuelva mediático o que empecemos a trabajar con un número mayor de denuncias”.
Otro de los delitos en los que está siendo utilizado el deepfake es el ya conocido “cuento del tío”. De acuerdo con cifras de la PDI, durante el primer semestre de 2022 se recibieron 1.650 denuncias de estafas telefónicas, más de la mitad de las 2.992 de todo el año 2021. Además, al enfocarse en la comparación de junio de ambos años, el aumento es de un 58%, pasando de 277 denuncias en 2021, a 440 en 2022. Este aumento no debiera ser una sorpresa considerando las nuevas técnicas utilizadas por los delincuentes. Con el “cuento del tío”, los delincuentes, además de contactar al objetivo de la estafa por redes sociales y mencionar información de un familiar (la supuesta víctima), están comenzando a incluir en su repertorio audios con la voz clonada de esta última. Esta técnica es realizada con generadores de voz, cuentan desde la PDI, para la cual solo se necesita tener registrado desde antes la voz de la persona, siendo una llamada previa o un audio en las redes sociales más que suficiente.
Según el sitio DeepMedia, una plataforma estadounidense especializada en IA, alrededor de 500.000 videos y audios con deepfakes se habrán compartido a nivel global durante el 2023. Esta cifra está relacionada a la cada vez menor cantidad de barreras de entrada que existen para el uso de estas herramientas.
Andrés Bustamante, cofundador de Asimov, una consultora especializada en innovación digital e IA, comenta que hasta hace unos pocos años el proceso de hacer un deepfake era mucho más complicado y, por ende, un fenómeno poco común. “La evolución del deepfake ha sido primero con plataformas más complejas como Stable Diffusion (uno de los primeros generadores de imágenes con IA), que las tenían que operar programadores o gente experta en audiovisuales. Hoy el proceso está mucho más difundido gracias a la aparición de plataformas mucho más simples de usar y con softwares que hacen el proceso de manera directa como HeyGen” (programa que convierte textos en videos generados con IA con avatares y voces realistas).
En el caso de las estafas, Bustamante afirma que crear y difundir fraudes como los de Oil Profit hoy en día es mucho más fácil, y serán situaciones cada vez más recurrentes en el futuro. “Una persona con habilidades limitadas en tecnología puede acceder a herramientas más baratas, simples y que se pueden usar en el celular. Solo hay que buscar personas que no estén familiarizadas con estas posibilidades para hacerlas caer”, dice.
La manera de protegerse
En el caso chileno, el 24 de abril de este año, la Comisión de Ciencias y Tecnología de la Cámara de Diputados presentó un proyecto de ley que busca regular los sistemas de inteligencia artificial, la robótica y las tecnologías conexas, en sus distintos ámbitos de aplicación. Eric Aedo, presidente de la comisión, resalta que el proyecto que hoy sigue en tramitación incluye el control sobre los deepfakes y que tiene como foco evitar la suplantación de identidad. “Estamos siguiendo la línea de los países europeos, que han hecho esfuerzos en delimitar barreras éticas para las empresas del rubro, pero asumimos que toda esta legislación va a quedar corta. La velocidad de cambio de la IA es enorme, pero sí hay que poner un marco jurídico para proteger a las personas”.
Felipe Urrutia respalda el proyecto de la comisión, planteando que se le pueden añadir más criterios a futuro: “Una garantía debería ser que se pueda identificar a la empresa cuyo servidor sea utilizado para generar contenido malicioso. Este año, la compañía británica de inteligencia artificial Deepmind desarrolló una marca de agua que permite identificar el contenido que ha sido generado de manera sintética. Podría ser un requisito dentro del marco legal hacerlas obligatorias, pero también eventualmente podría salir un modelo que, al igual que las GAN (redes antagónicas neuronales entrenadas para obtener resultados más realistas), sea entrenado para que quite estas marcas”.
En el caso de los usuarios, Carlos Franco, director del Observatorio de Datos de la Universidad Adolfo Ibáñez, sugiere el uso de la herramienta INVID, un software de verificación de video, para detectar de manera específica la presencia de deepfakes en videos: “INVID es un muy buen ejercicio porque trabaja cuadro por cuadro. Lo que hace es desintegrar, separar o hacer una disección del video para ofrecerte cuadro por cuadro, foto por foto y hacer análisis integrados. De todas formas, ni esta ni ninguna herramienta es 100% eficiente en la detección de deepfakes”.
Debido a esto, Franco defiende el fact checking como una conducta saludable que permite verificar la veracidad de un video o audio a través de su contenido. Además, recomienda sitios como Mala Espina Check y FastCheck, ambas plataformas surgidas en Chile tras el estallido social. Este último es el portal que verificó la falsedad de los anuncios de Oil Profit.
Daniel Moreno (@danielmorenoc) es estudiante de segundo año de periodismo de la Pontificia Universidad Católica. Se perfila como periodista cultural e internacional.