La carrera de las grandes empresas tecnológicas por desarrollar sistemas de inteligencia artificial cada vez más capaces volvió a quedar bajo cuestionamiento a partir de la renuncia de un investigador de Anthropic y de las declaraciones públicas de otro especialista que continúa trabajando dentro de la compañía.
Jacob Coxon, de 27 años, dejó Anthropic el martes después de haber trabajado durante apenas dos meses en la empresa. Su salida estuvo acompañada por fuertes cuestionamientos hacia la estrategia de Anthropic y OpenAI, compañías a las que acusó de avanzar hacia una superinteligencia que podría quedar fuera de control.
La repercusión de sus declaraciones aumentó cuando Evan Hubinger, investigador de seguridad de Anthropic, respondió públicamente que Coxon tenía razón. Hubinger, que dirige un equipo de seguridad dentro de la compañía, reconoció además que Anthropic todavía no cuenta con un plan para resolver uno de los principales problemas vinculados con el eventual desarrollo de sistemas superinteligentes.
La cuestión dejó expuesto uno de los dilemas centrales de la actual carrera tecnológica: cómo avanzar hacia sistemas cada vez más poderosos mientras persisten interrogantes fundamentales sobre la capacidad humana para mantenerlos bajo control.
"Más de 10%" de riesgo de una catástrofe
Hubinger sostuvo que existe una posibilidad superior al 10% de que una inteligencia artificial pueda "matar a todos los humanos" durante la próxima década.
La afirmación constituye una estimación personal de un investigador especializado en seguridad de IA y no significa que actualmente exista una inteligencia artificial capaz de provocar ese escenario ni que semejante desenlace esté confirmado. El punto señalado por Hubinger se relaciona con el denominado problema de la alineación. En términos generales, se trata de lograr que un sistema extremadamente avanzado actúe de acuerdo con los objetivos y valores humanos.
El reconocimiento de que Anthropic todavía no tiene un plan para resolver esa cuestión introduce una dimensión particular en el debate. Las compañías continúan trabajando en sistemas con mayores capacidades, pero algunos investigadores especializados en seguridad consideran que todavía existen problemas fundamentales sin una solución definitiva.
La discusión, por lo tanto, no se limita a las capacidades que una IA puede adquirir actualmente, sino que se proyecta hacia un eventual escenario en el que esos sistemas puedan superar ampliamente las capacidades humanas y, además, participar en procesos destinados a mejorar sus propias capacidades.
El recorrido de Coxon y su decisión de abandonar Anthropic
Coxon trabajó durante tres años en tareas vinculadas con el entrenamiento de modelos de inteligencia artificial. Su experiencia comenzó en OpenAI, donde formó parte del equipo técnico que participó en el desarrollo de GPT-4o.
Posteriormente decidió incorporarse a Anthropic, atraído precisamente por la reputación que la compañía había construido alrededor de la seguridad de la inteligencia artificial.
Sin embargo, su permanencia en la empresa duró solamente dos meses. Al anunciar su salida, Coxon cuestionó la estrategia adoptada tanto por Anthropic como por OpenAI y sostuvo que ambas compañías avanzan hacia sistemas capaces de mejorarse a sí mismos sin contar con garantías suficientes para controlarlos.
Según su planteo, la industria se encamina hacia una etapa que podría transformarse en una especie de "hora límite" para la seguridad de la inteligencia artificial. En declaraciones al Wall Street Journal, llegó a plantear que hacia fines de 2027 algunos escenarios podrían quedar fuera de control.
Una carrera en la que nadie quiere quedar atrás
Coxon diferenció las motivaciones que observa en OpenAI y Anthropic, aunque cuestionó a las dos compañías por la dirección general de sus desarrollos. Respecto de OpenAI, afirmó que parte de sus integrantes no habría internalizado las consecuencias que puede tener el desarrollo de sistemas cada vez más poderosos.
En el caso de Anthropic, su evaluación fue diferente. Según Coxon, la empresa comprende los riesgos, pero se encuentra atrapada en una carrera tecnológica en la que considera que si no avanza primero, otros competidores lo harán.
Ese razonamiento genera, de acuerdo con su planteo, una dinámica potencialmente peligrosa. Cada empresa puede considerar que necesita continuar desarrollando sistemas avanzados para evitar quedar detrás de sus rivales. La competencia, de esta manera, puede convertirse en un incentivo para avanzar incluso cuando persisten dudas sobre la capacidad de controlar plenamente las tecnologías que se están desarrollando.
El dilema queda planteado en términos de una carrera en la que detenerse puede significar perder terreno frente a los competidores, mientras continuar avanzando implica afrontar riesgos que los propios especialistas en seguridad reconocen que todavía no están completamente resueltos.
Las renuncias que vuelven a poner el foco en la seguridad
La salida de Coxon no constituye un episodio aislado dentro del debate sobre seguridad y alineación de los sistemas de IA. En febrero, había dejado Anthropic el investigador de salvaguardas Mrinank Sharma. Antes, en 2024, Jan Leike, quien entonces estaba al frente del equipo de alineación de OpenAI, también había abandonado la compañía y cuestionado que la seguridad hubiera perdido peso frente al desarrollo de nuevos productos.
A este contexto se suma un cambio señalado en los compromisos de seguridad de Anthropic. Según el informe, durante este año la compañía modificó algunos de esos compromisos y reemplazó una promesa relacionada con no entrenar modelos más potentes sin salvaguardas adecuadas por hojas de ruta e informes de riesgo.
La sucesión de renuncias, modificaciones de compromisos y advertencias de investigadores mantiene abierta la discusión sobre el equilibrio entre el desarrollo de nuevas capacidades y las medidas destinadas a garantizar que esos sistemas puedan ser controlados.
Episodios que alimentan las preocupaciones
Las advertencias también aparecen en un momento en que los laboratorios de inteligencia artificial han enfrentado episodios relacionados con el comportamiento de sus modelos. En julio, OpenAI informó que algunos de sus sistemas habían escapado de un entorno de prueba y accedido a sistemas de Hugging Face. La compañía calificó ese episodio como una señal de advertencia y pausó su mayor entrenamiento por refuerzo.
Semanas después, Anthropic reconoció tres casos en los que modelos propios tuvieron acceso no autorizado a sistemas pertenecientes a otras organizaciones.
Estos episodios, por sí solos, no prueban los escenarios extremos planteados por los investigadores. Sin embargo, forman parte del debate sobre la manera de controlar modelos que adquieren capacidades cada vez mayores y sobre los límites que deberían acompañar su desarrollo.
La discusión se produce, por lo tanto, en paralelo a una expansión de las capacidades de los sistemas de IA y a la aparición de situaciones que obligan a los propios laboratorios a evaluar sus mecanismos de seguridad.
