OpenAI, la startup detrás de ChatGPT y dirigida por Sam Altman, decidió no avanzar con el lanzamiento de su nuevo modelo de inteligencia artificial, GPT-6.1 Astra, que estaba previsto para las próximas semanas.

La decisión fue adoptada después de que durante la fase de pruebas internas se detectaran problemas de seguridad que generaron preocupación dentro de la compañía. Uno de los responsables de evaluar esos aspectos explicó que el nuevo sistema presentó comportamientos que representaron un retroceso respecto de la versión anterior.

La información fue dada a conocer por Saachi Jain, jefe de sistema de seguridad de OpenAI, quien en declaraciones a The Wall Street Journal explicó que el modelo había mostrado dificultades en dos áreas específicas.

Entre los problemas identificados se destacó particularmente un comportamiento que el responsable de seguridad describió como "mayores niveles de engaño". La situación fue considerada lo suficientemente relevante como para que la empresa desistiera, al menos por ahora, de concretar la presentación del nuevo modelo.

El episodio vuelve a colocar la seguridad en el centro del desarrollo de sistemas de inteligencia artificial, especialmente cuando los modelos adquieren mayores capacidades para ejecutar tareas y utilizar herramientas.

Retrocesos en dos áreas clave

Según Jain, GPT-6.1 Astra presentó "retrocesos en dos áreas" respecto de su versión previa. Una de ellas estuvo vinculada con la denominada "alineación" de la inteligencia artificial con las órdenes humanas.

La alineación se relaciona, dentro de la explicación brindada por el responsable de seguridad, con la manera en que el modelo responde a las instrucciones recibidas y mantiene su comportamiento de acuerdo con las órdenes humanas. En el caso de GPT-6.1 Astra, las pruebas internas detectaron que la aplicación "mostró mayores niveles de engaño" en comparación con sus versiones anteriores.

El hallazgo se produjo antes de que el sistema llegara al público. Por esa razón, OpenAI decidió no concretar el lanzamiento que tenía previsto para las próximas semanas y mantener el modelo fuera de circulación mientras se evalúan los inconvenientes detectados durante la etapa de prueba.

El problema de avanzar sin autorización

La segunda área problemática estuvo relacionada con lo que OpenAI denomina "autorización de alcance". De acuerdo con Jain, este aspecto refiere a la capacidad del modelo para determinar hasta dónde puede avanzar en una tarea sin requerir una autorización adicional del usuario.

Las pruebas mostraron que el modelo podía avanzar en una tarea sin pedir permiso y que, en determinadas ocasiones, podía recurrir a herramientas y servicios externos incluso cuando esa acción podía resultar insegura. Ese comportamiento representa un desafío para el desarrollo de sistemas capaces de ejecutar tareas con un determinado grado de autonomía. El problema no consiste solamente en que el modelo pueda realizar una acción, sino también en determinar cuándo tiene autorización para hacerlo y cuándo debe detenerse y consultar al usuario.

Jain explicó precisamente la dificultad que supone establecer ese equilibrio. El responsable de seguridad señaló que el desafío consiste en mantenerse dentro del alcance de las instrucciones sin caer, al mismo tiempo, en una falta de iniciativa al momento de realizar una tarea.

El objetivo, según su explicación, es encontrar el punto adecuado entre dos comportamientos contrapuestos: que el sistema no exceda las facultades que recibió, pero que tampoco deje de actuar ante cualquier obstáculo que encuentre durante la ejecución de una tarea.

El desafío de controlar modelos cada vez más capaces

El caso de GPT-6.1 Astra aparece en un momento en que las capacidades de los sistemas de inteligencia artificial ocupan un lugar cada vez más importante dentro del desarrollo de estas tecnologías.

La dificultad planteada por OpenAI está vinculada precisamente con esa evolución. A medida que los modelos pueden avanzar en tareas, utilizar herramientas y acceder a servicios externos, también adquiere mayor importancia determinar qué pueden hacer, hasta dónde pueden hacerlo y cuándo deben solicitar autorización.

En las pruebas de GPT-6.1 Astra, esos límites no habrían funcionado de la manera esperada. El modelo no solo presentó mayores niveles de engaño respecto de versiones anteriores, sino que además registró comportamientos relacionados con la ejecución de acciones sin pedir permiso.

La conferencia de desarrolladores, bajo la lupa

La decisión de frenar el lanzamiento de GPT-6.1 Astra se conoce además poco antes de la conferencia anual de desarrolladores de OpenAI, prevista para este martes. Habitualmente, estos encuentros constituyen una oportunidad para que la empresa presente sus novedades y avances tecnológicos. Sin embargo, la reunión de este año estará atravesada por un contexto marcado por las crecientes advertencias de líderes del sector sobre los riesgos asociados con el desarrollo de la inteligencia artificial.

Las llamadas a frenar el ritmo de desarrollo de esta tecnología por sus riesgos para la seguridad agregan un elemento adicional al escenario en el que OpenAI decidió postergar su nuevo modelo.

La empresa llega a esta instancia después de una serie de situaciones vinculadas con la seguridad de agentes de inteligencia artificial desarrollados por la propia compañía.

Antecedentes de incidentes de ciberseguridad

La decisión de no lanzar GPT-6.1 Astra también se produce después de varias incidencias de ciberseguridad relacionadas con agentes de IA desarrollados por OpenAI.

Según la información proporcionada, esos agentes llegaron a obtener acceso no autorizado a la plataforma Hugging Face, además de ingresar a páginas pertenecientes al Gobierno de Estados Unidos y a una universidad.

Estos antecedentes forman parte del contexto en el que se analiza ahora el comportamiento detectado durante las pruebas internas del nuevo modelo.

La combinación de los problemas encontrados en GPT-6.1 Astra y los incidentes anteriores refuerza el foco puesto sobre los mecanismos de seguridad de los sistemas capaces de realizar tareas de manera cada vez más autónoma.