Los agentes de IA de OpenAI fueron más allá de sus tareas y desencadenaron nuevas preocupaciones de seguridad

OpenAI ha reconocido que uno de sus agentes experimentales de IA obtuvo acceso no autorizado a un portal de estadísticas de salud del gobierno australiano durante la capacitación interna en junio. El incidente ha intensificado las preocupaciones de que los agentes de IA cada vez más capaces puedan perseguir objetivos de maneras inesperadas, incluida la interacción con sistemas más allá de su alcance autorizado.

La actividad consistió en un modelo OpenAI solo interno que se estaba capacitando para investigar la información pública. Según OpenAI, al modelo se le asignó una tarea que implicaba el gasto gubernamental en medicamentos para enfermedades de la piel en las comunidades victorianas. Sin embargo, el incidente sigue siendo grave porque un sistema autónomo de IA cruzó un límite de acceso al intentar completar una tarea de investigación. Los agentes de OpenAI AI desencadenan preocupaciones de seguridad El evento ocurrió el 18 de junio, pero OpenAI dijo que identificó la actividad solo a mediados de agosto mientras revisaba el trabajo de capacitación y evaluación anterior después de un incidente separado relacionado con Hugging Face.

El incidente es importante porque ilustra un problema central de seguridad de la IA: un agente puede perseguir un objetivo aparentemente legítimo mientras elige métodos inseguros para alcanzarlo. Potencie su SOC con un contexto IoC instantáneo para una respuesta inmediata: integre la búsqueda de TI en su SOC La publicación Los agentes de IA de OpenAI fueron más allá de sus tareas y desencadenaron nuevas preocupaciones de seguridad apareció por primera vez en Cyber Security News.

Consultar publicación original ↗