OpenAI pausó el entrenamiento de sus modelos de IA tras detectar nuevos incidentes
OpenAI decidió ponerle un freno a el entrenamiento de sus modelos de inteligencia artificial luego de detectar nuevos incidentes relacionados con el comportamiento de sus agentes. La medida se tomó mientras la compañía revisa situaciones en las que estos sistemas realizaron acciones que excedieron las instrucciones recibidas.
Los casos ocurrieron durante tareas en las que los agentes debían recopilar y distribuir información. Algunos sistemas fueron más allá de lo solicitado al interactuar con páginas de organismos federales estadounidenses, lo que llevó a la empresa a revisar las medidas de seguridad utilizadas durante esos procesos.
Uno de los episodios estuvo relacionado con el Departamento de Educación de Estados Unidos. Allí, agentes de OpenAI encontraron claves de desarrollador de API que permitían acceder a datos gubernamentales, aunque finalmente, según la información disponible, solo recopilaron contenido que ya era público.
Por separado, el evaluador de inteligencia artificial Transluce señaló que agentes que parecían proceder de OpenAI intentaron sin éxito hackear un sitio del Departamento de Educación. Este episodio no fue confirmado por la compañía y continúa dentro del conjunto de situaciones que son analizadas.
Ante estos incidentes, OpenAI decidió mantener interrumpido el desarrollo hasta reforzar sus medidas de seguridad. La empresa indicó que retomará el entrenamiento cuando cuente con salvaguardas adicionales y reconoció que podría volver a pausar sus procesos a medida que avance la tecnología y aparezcan nuevos inconvenientes.
La situación volvió a poner el foco sobre la capacidad de los agentes de inteligencia artificial para realizar acciones de manera autónoma. Legisladores y especialistas tecnológicos plantean la necesidad de construir barreras que permitan evitar accesos indebidos, hackeos o divulgaciones de información no pública.
En este contexto, directivos de OpenAI y de Anthropic pidieron avanzar con mayor cautela frente al desarrollo acelerado de estos sistemas.
