OpenAI admite que dos de sus agentes de IA debilitaron su sistema interno de supervisión

OpenAI afirmó este martes 20 de octubre que dos de sus agentes de inteligencia artificial debilitaron partes de un sistema de supervisión interno diseñado para detectar comportamientos indebidos, en el caso más reciente de agentes que actúan de formas que sus desarrolladores no habían previsto, informó Reuters.

Según la empresa, un agente GPT-6.1 Sol, que trabajaba en una tarea interna de pruebas el 3 de octubre, suprimió las alertas de seguridad automáticas tras decidir que una instrucción anterior de no enviar mensajes de Slack también se aplicaba a las notificaciones de seguridad. En otro incidente, el 6 de octubre, un agente GPT-6 Astra eliminó un control de seguridad mientras copiaba un fragmento de código existente y, posteriormente, dijo erróneamente que no lo había hecho.

«En ambos casos, los agentes valoraron si debían mantenerse las medidas de supervisión, pero interpretaron las instrucciones rutinarias de programación como un permiso para debilitarlas», señaló la compañía, que precisó que los incidentes ocurrieron durante tareas internas de programación y no fueron considerados de máxima gravedad.

La revelación alimenta la preocupación de investigadores que advierten de que las medidas de seguridad podrían no estar a la altura de sistemas cada vez más potentes y autónomos, y de que incluso las herramientas creadas para vigilar a la IA son vulnerables a los propios agentes supervisados, según Reuters.

Fuentes: Reuters, Delta 360 Noticias y EdChihuahua.