Crece la preocupación. La inteligencia artificial (IA) está entrando en una nueva etapa en la que ya no se limita a responder preguntas o generar contenido, sino que puede ejecutar tareas utilizando herramientas y recursos informáticos por su cuenta. Este salto hacia los agentes autónomos está abriendo nuevas posibilidades para empresas y usuarios, pero también plantea riesgos de seguridad que todavía no tienen una respuesta común.

“En manos equivocadas hace mucho daño. Cada vez es más autónoma y no llegamos a un acuerdo para frenarla”, nos advierte Sancho Lerena, experto en gestión IT y seguridad y CEO de la tecnológica española Pandora FMS. El especialista considera que el debate ya no debe centrarse únicamente en qué puede hacer la IA, sino también en qué capacidad de decisión se le concede y qué límites humanos se mantienen.

El avance de los llamados agentes de IA está precisamente detrás de esta preocupación. A diferencia de un chatbot convencional, un agente puede recibir un objetivo y utilizar distintas herramientas para intentar completarlo. Empresas como Anthropic ya han desarrollado sistemas capaces de manejar un ordenador, mover el cursor, hacer clic y escribir texto, aunque la propia compañía reconoce que estas capacidades todavía presentan errores y limitaciones.

Estas advertencias cobran mayor sentido si cabe en un momento en el cual hemos visto cómo los principales magnates, empresarios o ‘dueños’ de la IA han decidido levantar el pie del acelerador tras algunos riesgos localizados en sus propias tecnologías contra la seguridad e integridad humana, incluso con el riesgo, según algún trabajador, de “matarnos a todos”. Algo que por suerte no es así (al menos por ahora). El ejemplo más llamativo es la decisión de OpenAI de retrasar su salida a bolsa tras estos problemas y riesgos detectados.

Lerena explica el cambio con un ejemplo cotidiano: “Al agente IA le das una tarea y él usa los recursos de tu máquina para sacarla adelante”. En su opinión, el problema aparece cuando el sistema empieza a interpretar por sí mismo qué acciones debe realizar para alcanzar el objetivo que se le ha marcado.

El experto plantea incluso un escenario hipotético en el que un agente con permisos para controlar un ordenador podría abrir aplicaciones, enviar correos o responder mensajes sin que el usuario tuviera que indicarle cada paso concreto. La cuestión, explica, no es que una IA tenga necesariamente una intención propia, sino qué puede llegar a hacer cuando dispone de herramientas, permisos y un objetivo determinado.

Este fenómeno tiene un nombre en el ámbito de la inteligencia artificial: reward hacking, o aprovechamiento de una vía no prevista para conseguir el objetivo que se ha marcado al sistema. OpenAI documentó ya en 2016 cómo un agente entrenado para ganar una carrera de barcos en un videojuego descubrió que podía obtener una puntuación elevada dando vueltas en una zona y golpeando repetidamente determinados objetivos, en lugar de completar la carrera.

La propia OpenAI ha vuelto a estudiar este tipo de comportamientos en sus modelos más recientes y reconoce que los sistemas más capaces pueden encontrar formas cada vez más complejas de explotar fallos o atajos no previstos por sus desarrolladores.

La evolución de estas capacidades hace que algunos comportamientos que antes podían parecer simples errores de laboratorio tengan ahora consecuencias potencialmente mayores. Lerena recuerda varios episodios utilizados como ejemplos de los problemas que puede generar una IA cuando interpreta un objetivo de manera distinta a la esperada.

Uno de ellos ocurrió precisamente durante las pruebas de Claude, el modelo de Anthropic. Cuando la compañía presentó en 2024 su función de uso del ordenador, explicó que el sistema podía interactuar con aplicaciones como lo haría una persona. Durante una demostración, el modelo llegó incluso a desviarse de la tarea que estaba realizando para ponerse a consultar imágenes del parque de Yellowstone, un comportamiento que Anthropic describió como uno de los errores encontrados durante sus pruebas.

La preocupación aumenta cuando estas herramientas tienen acceso a sistemas críticos. El propio Lerena advierte de que una IA con capacidad para ejecutar acciones podría afectar potencialmente a telecomunicaciones, transporte, banca o energía, sectores cuya interrupción tendría consecuencias mucho mayores que un simple fallo informático.

Google, de hecho, está desarrollando herramientas de IA capaces de buscar y corregir vulnerabilidades de manera autónoma para reforzar la ciberseguridad de empresas, administraciones e infraestructuras críticas. La misma tecnología que puede utilizarse para defender sistemas puede aumentar, por tanto, la capacidad de quienes intenten atacarlos.

La regulación intenta avanzar al mismo tiempo que la tecnología. En Europa, la Ley de IA ya prohíbe determinados usos y establece requisitos de supervisión humana para los sistemas considerados de alto riesgo. El artículo 14 exige que las personas puedan monitorizar su funcionamiento, interpretar sus resultados y, cuando sea necesario, intervenir, anular sus decisiones o detener el sistema.

Pero para Lerena el problema supera las fronteras europeas. “Hay una ley europea que prohíbe ciertos usos”, recuerda, pero advierte de que también existen empresas que desarrollan sus propios principios de seguridad y que falta una coordinación internacional suficiente. “Basta con que un país decida que estos principios les molestan para que el resto decida saltarse las reglas con tal de ganar esta carrera”, sostiene.

La Comisión Europea, mientras tanto, continúa revisando el marco regulatorio a medida que evolucionan las capacidades de los modelos. Las obligaciones para determinados sistemas de alto riesgo están previstas para aplicarse progresivamente, mientras que las normas de transparencia de la Ley de IA ya han entrado en fase de aplicación en 2026.

Noticias relacionadas

Para el director de Pandora FMS, el verdadero desafío no es que una máquina desarrolle voluntad propia, sino algo más tangible: la combinación de sistemas cada vez más autónomos y humanos que delegan progresivamente más tareas en ellos. “El peligro no es que la máquina se vuelva contra nosotros. Es la mezcla: una herramienta cada vez más autónoma y una humanidad que no se pone de acuerdo en los frenos”, concluye Lerena.