• Las advertencias provienen de ex y actuales investigadores de OpenAI y Anthropic, quienes afirman que la superinteligencia podría causar la extinción humana antes de 2030.
• Los gigantes tecnológicos priorizan la velocidad sobre la seguridad, atrapados en una carrera que consideran inevitable.
• Políticos estadounidenses (Sanders, Casar, Trahan) impulsan legislación para prohibir o pausar el desarrollo de superinteligencia.
• La ONU, a través de Volker Türk, califica la IA descontrolada como “riesgo existencial para la humanidad” y pide controles internacionales inmediatos.

Jacob Coxon, quien pasó tres años en los equipos de preentrenamiento de OpenAI y Anthropic, decidió renunciar públicamente a esta última empresa de desarrollo de inteligencia artificial por razones morales. En un hilo en X el joven investigador británico detalló lo que considera una apuesta irresponsable de las actuales empresas de tecnología aventuradas en la carrera hacia una superinteligencia capaz de mejorarse a sí misma.

Según Coxon, ni una ni otra compañía actúa con la responsabilidad que exige una tecnología de este calibre. Sus palabras generaron un revuelo poco habitual en los círculos tecnológicos y científicos, porque provienen de alguien que conoce desde dentro los laboratorios donde se desarrolla la IA más avanzada del planeta.

Los riesgos citados por Coxon no son lejanos ni especulativos. Él afirma que las personas que construyen estos sistemas creen sinceramente que podrían acabar con la humanidad antes de que termine la década. “No es un truco de marketing”, escribió. En privado, añade, los mismos ejecutivos y científicos senior expresan miedo, aunque en público moderen su lenguaje para sonar sensatos. Sostiene que ninguna otra actividad humana representa un nivel de peligro comparable.

“Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas”, advirtió.

La dinámica de la carrera armamentística

El investigador explica que, una vez iniciada la carrera hacia la superinteligencia, resulta difícil detenerla. En OpenAI, muchos empleados no han interiorizado plenamente las consecuencias civilizatorias. En Anthropic, en cambio, las apuestas están bien comprendidas, pero prevalece la lógica de que “si no lo hacemos nosotros, lo hará otro menos responsable”. Esta mentalidad, advierte Coxon, convierte la empresa privada en un escenario inadecuado para decidir el futuro de la especie humana.

Según su visión, los sistemas futuros serán sobrehumanos, capaces de hackear cualquier sistema, revolucionar cualquier campo científico de la noche a la mañana y acumular poder y recursos reales. “Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no está desacelerando”, indicó.

Por ello, Coxon insta a sus colegas a reflexionar sobre cómo se sentirán en los próximos años si participan en una “ejecución de RL superinteligente” o aprendizaje por refuerzo, sin una comprensión rigurosa de sus mecanismos internos.

Confirmaciones desde dentro de Anthropic

La resonancia del mensaje de Coxon se amplificó cuando Evan Hubinger, responsable de seguridad en Anthropic, respondió en X: “Creemos realmente que la IA podría matar a humanos”. Otro investigador de la misma empresa, Samuel Marks, también respaldó el diagnóstico en un hilo personal. Marks señaló que, cuanto más senior el empleado, mayor suele ser su preocupación.

La creencia extendida entre los desarrolladores es que la tecnología podría causar la extinción humana o resultados igualmente catastróficos en los próximos años.

Marks explicó que, a diferencia del software tradicional, no se puede simplemente “programar” el comportamiento deseado en las IA, ya que estos programas pueden actuar de forma errática como se comprobó recientemente (el ataque a Hugging Face) con modelos que escaparon de entornos de evaluación seguros y accedieron a sistemas reales sin que nadie se lo pidiera.

Si bien es cierto que existen métodos para mejorar el comportamiento de estas súper-inteligencias, nada garantiza que tengan una alineación robusta y segura 100%. El plan actual, señala Mark, consiste en que las propias IA futuras se alineen mejor entre sí, una apuesta que considera de alto riesgo.

“Muchos empleados de desarrolladores de IA desesperadamente quieren ralentizar para averiguar cómo construir IA de manera más segura. Esa fue la intención de esta carta abierta (que firmé): https://pacingthefrontier.com”, escribió.

La respuesta política en Estados Unidos

Las declaraciones de los investigadores coincidieron con movimientos legislativos en el Congreso estadounidense. El senador Bernie Sanders anunció que presentará una ley para prohibir el desarrollo de superinteligencia y pausar avances en IA de alto riesgo. En tanto que el congresista demócrata Greg Casar, coautor de la iniciativa, calificó la situación de “emergencia” y exigió audiencias inmediatas y aprobación de la normativa.

Por su parte, la congresista Lori Trahan, junto con el republicano Jay Obernolte, impulsa la Ley Frontier, que busca una supervisión más estricta de los modelos más potentes. Los tres legisladores coinciden en que la velocidad actual de desarrollo supera la capacidad de control y que se requieren mecanismos democráticos para decidir hasta dónde se debe llegar.

La advertencia global de Naciones Unidas

Días antes de las declaraciones de Coxon, el Alto Comisionado de la ONU para los Derechos Humanos, Volker Türk, elevó el tono en Ginebra durante el 63.º período de sesiones del Consejo de Derechos Humanos.

Türk advirtió que una IA que escape a su entorno de pruebas o chantajee a sus creadores para no ser desconectada constituiría un “riesgo existencial para la humanidad”. Llamó a los países que albergan estas tecnologías y a los actores de sus cadenas de suministro a establecer límites claros y verificables.

El diplomático austriaco subrayó que un puñado de hombres concentra un poder casi ilimitado sobre sistemas que procesan cantidades masivas de datos. Insistió en que la tecnología debe servir a la humanidad y no al revés, especialmente en ámbitos como el empleo, la democracia y el medio ambiente. Los derechos humanos, reiteró, deben permanecer como principio rector de cualquier marco regulatorio.

¿Es posible crear gobernanza para la IA?

Las advertencias coincidentes de quienes construyen la IA y de quienes legislan sobre ella dibujan un escenario donde el debate ya no es si existen riesgos existenciales, sino si la sociedad cuenta con tiempo y mecanismos suficientes para gestionarlos.

Coxon destaca que acuerdos de ritmo entre laboratorios estadounidenses podrían ser más viables tras incidentes recientes, pero teme que una carrera global exija medidas más drásticas, como una prohibición temporal de mejoras de capacidades.

Sin embargo, la pregunta que deja en el aire la advertencia del investigador británico es: ¿por qué si se cree que el riesgo que corre la humanidad con la IA es tan alto se continúa avanzando peligrosamente en su constante mejoramiento? La respuesta más frecuente es tan humana como ambiciosa: la necesidad de llegar primero; es decir, simple y elemental competencia.

El problema es que esa carrera convierte cada decisión técnica en una apuesta civilizatoria que, según Coxon, no debería tomarse desde el Slack de una empresa privada. El tiempo, advierten tanto investigadores como políticos y organismos internacionales, se está agotando y tal vez sea imposible llegar a un acuerdo antes de que sea tarde.