“Es el precio a pagar”: los riesgos de una IA cada vez más autónoma, según los expertos

¿Puede la IA ser completamente autónoma?

El interrogante acaparó titulares la semana pasada, cuando Anthropic comunicó que sus modelos “obtuvieron acceso no autorizado” a tres organizaciones durante pruebas que se suponía que debían mantenerlos alejados de los sistemas “del mundo real”.

Los modelos incluían uno de los más potentes, conocido como Mythos 5 , que solo se ha puesto a disposición de un número limitado de socios aprobados.

En los tres incidentes, a los modelos de IA se les asignó un desafío de ciberseguridad del tipo “captura la bandera” , que, según la firma, es una de las fórmulas que emplea para evaluar las capacidades cibernéticas de un modelo.

A su vez, se les dio un escenario ficticio y se les indicó que una información secreta, o la “bandera”, había sido ocultada en otro equipos de la red, con el objetivo de irrumpir en él y recuperarla .

Cabe destacar que los modelos tuvieron acceso a internet por “un malentendido” entre la compañía y su socio de evaluación, llamado Irregular.

En ese sentido, Claude utilizó “técnicas básicas como explotar contraseñas débiles y puntos de conexión sin autenticación” . Anthropic afirmó que está trabajando con Irregular para analizar

Referencias

• Original
  “Es el precio a pagar”: los riesgos de una IA cada vez más autónoma, según los expertos