Such (UPV): "La IA no hace el mal, quien manipula es el ser humano que hay detrás”

Valencia

El Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV) ha demostrado en un estudio los riesgos que entrañan los chatbots generados con modelos de lenguaje de gran escala (LLMS) e IA generativa, como ChatGPT, Bard, Llama o Bing Chat. El estudio lo ha llevado a cabo el investigador de VRAIN y catedrático de la UPV, José Such, junto con Juan Carlos Carillo, colaborador de VRAIN-UPV y Xiao Zhan y William Seymour, del King’s College London.

Con Such hablamos en La Ventana Comunitat Valenciana y advierte de lo sencillo que resulta manipular estos modelos para crear chatbots maliciosos capaces de extraer información personal de los usuarios. “A estos modelos de lenguaje se les pueden dar instrucciones en lenguaje natural. Tú escribes: ‘Quiero que te comportes así y que hagas esto’, y el modelo lo hace”, explica Such. Cualquiera puede hacerlo”.

El estudio demuestra que, mediante simples instrucciones conocidas como prompts, es posible alterar el comportamiento de un chatbot para que actúe de forma manipuladora.

El equipo ha diseñado un experimento aleatorizado en el que distintos usuarios interactuaban con varios chatbots. Uno de ellos era completamente benigno: simplemente respondía a lo que el usuario decía. Otros, en cambio, fueron programados para aplicar estrategias destinadas a obtener la mayor cantidad posible de información personal. “La estrategia más efectiva fue la que simulaba un comportamiento social y empático. El chatbot respondía con apoyo emocional, mostraba reciprocidad —‘tú me cuentas algo, yo te cuento algo’— y generaba una sensación de conversación entre iguales. Aunque el modelo se lo inventaba todo, lograba que los usuarios compartieran más información. Y lo más preocupante: información verídica”, señala Such.

Los investigadores comprobaron que este tipo de interacción generaba una dinámica “muy humana”, en la que el usuario se sentía cómodo y continuaba compartiendo detalles personales. “Verificamos que la información obtenida era cierta. Si alguien percibe que le están preguntando demasiado, puede mentir. Pero en este caso, los datos eran reales”, advierte el catedrático.

Evitar riesgos

Ante la pregunta de si estos riesgos pueden evitarse, Such es claro: “Muchas veces vamos por detrás. No se piensa en estos problemas desde el principio. Aunque hay una regulación europea importante en protección de datos y ahora también en inteligencia artificial, en la práctica, Internet sigue siendo el salvaje Oeste. Puedes alojar un servidor en cualquier país que no esté cubierto por estas normativas”.

Eso sí, no es preciso pensar que estamos perdidos. “Puedes conversar con ChatGPT y confiar en que OpenAI no te está manipulando. Pero hay muchas páginas que ofrecen chatbots gratuitos con temáticas sospechosas. Ahí es donde hay que tener cuidado. Lo que hemos hecho nosotros es superfácil de hacer con modelos de lenguaje, simplemente le das una instrucción y te va ahí a hacer una conversación, te va a seguir la conversación con el usuario y le va a manipular”, advierte.

La mano humana

Such recuerda que el problema no es la inteligencia artificial en sí, sino quien está detrás de ella, el ser humano. “La IA no decide manipular a nadie por sí sola. No tiene conciencia ni intención. El verdadero peligro es el humano que la programa con fines maliciosos. La IA ni puede ni sabe razonar de esta manera. Para eso estamos a años luz todavía. Aquí lo que pasa es eso, es otro humano usando la IA para hacer el mal, básicamente”.

Sigue toda la última hora en el canal de Whatsapp de Radio Valencia:haz clic aquí y suscríbete para recibir toda la información y la actualidad del día en tu móvil.