Un estudio de la UPV y King´s College advierte de los riesgos de chatbots creados con IA generativa para revelar datos personales
El estudio se ha llevado a cabo por el investigador de VRAIN y Catedrático de la UPV, José Such, el colaborador de VRAIN de la UPV, Juan Carlos Carillo, y del King’s College London, Dr Xiao Zhan y Dr William Seymour
Entrevista con Juan Carlos Carillo, coautor del estudio
El código iframe se ha copiado en el portapapeles
Valencia
El Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV) ha demostrado en un estudio los riesgos que entrañan los chatbots generados con modelos de lenguaje de gran escala (LLMS) e IA generativa, como pueden ser ChatGPT, Bard, Llama o Bing Chat. Esto es debido a la facilidad con la que se pueden explotar los LLM para crear chatbots maliciosos con el objetivo de manipular a las personas para que revelen información personal, y los pocos conocimientos técnicos que se necesitan para lograrlo.
El estudio se ha llevado a cabo por el investigador de VRAIN y Catedrático de la UPV, José Such, el colaborador de VRAIN de la UPV, Juan Carlos Carillo, y del King’s College London, Dr Xiao Zhan y Dr William Seymour. A través de la realización de un ensayo aleatorio y controlado con 502 participantes, el estudio pone de manifiesto que las IAs conversacionales utilizadas de forma maliciosa extraen significativamente más información personal que las IAs conversacionales benignas.
Bajo el título «Una IA conversacional basada en modelos de lenguaje maliciosos hace que los usuarios revelen información personal”, el artículo presentará sus conclusiones en el 34 Simposio de Seguridad Usenix (Usenix Security Symposium) que se celebrará del 13 al 15 de agosto en Seattle (EE.UU). En él se subrayan las amenazas a la privacidad que plantea este nuevo tipo de chatbots maliciosos basados en LLM y se ofrecen recomendaciones prácticas para orientar la investigación y prácticas futuras.
Y es que un chatbot de estas características, ya sea en manos de un actor malicioso con muchos recursos, bien un hacker, un ciberterrorista o un estado muy autoritario; o simplemente alguien con malas intenciones y un conocimiento mínimo de uso de LLMs o chatbots y con las preguntas adecuadas a formular a un LLM constituye un riesgo para la privacidad de las personas, añade el investigador principal de VRAIN de la UPV de este estudio.
El trabajo se enmarca en el proyecto “SPRINT: Seguridad y Privacidad en Sistemas con Inteligencia Artificial” (C063/23), parte del convenio entre INCIBE y la Universitat Politècnica de València incluido en los Proyectos Estratégicos en España, en el marco del Plan de Recuperación, Transformación y Resiliencia, con la financiación de los Fondos Next Generation-EU .
En Hoy por Hoy Valencia hemos contado con la participación de Juan Carlos Carillo, estudiante de doctorado de VRAIN y uno de los coautores del estudio, quien nos ha contado en qué consiste este estudio.
Sigue toda la última hora en el canal de Whatsapp de Radio Valencia:haz clic aquí y suscríbete para recibir toda la información y la actualidad del día en tu móvil.
