Toda la Argentina en una sola página

El futuro de la inteligencia artificial: Sam Altman advierte sobre “perder el control” y una “concentración de poder” extrema

El futuro de la inteligencia artificial: Sam Altman advierte sobre “perder el control” y una “concentración de poder” extrema
Dufume
mundo

El CEO de OpenAI publicó en X dos escenarios de riesgo para el desarrollo de la inteligencia artificial, dos días después de que Dario Amodei, su par de Anthropic, pidiera frenar el ritmo de los modelos más avanzados y proponer auditorías externas.

AI
  • ⚠️ El debate sobre el futuro de la IA se acelera y Sam Altman advierte que el avance “podría salir muy mal”; insiste en que la IA debe servir a las personas y que la seguridad y la alineación deben avanzar al mismo ritmo que las capacidades.
  • 🔒 Riesgo 1: la humanidad podría perder el control del futuro frente a la IA; la alineación y seguridad deben ir al mismo ritmo o más rápido que los avances.
  • ⚖️ Riesgo 2: concentración excesiva de poder; si una IA muy poderosa es usada por una empresa o país para imponer su visión, el resultado podría ser distópico; hay que caminar por un sendero angosto para evitarlo.
  • 🚫 OpenAI decidió no salir a cotizar en bolsa en 2026 por motivos de seguridad; Altman consideró imprudente dar ese paso y afirmó que no se debe asumir un riesgo alto de acabar con la vida en la década.
  • 🧭 El plan de Amodei de Anthropic propone tres pasos escalonados: 1) evaluadores externos con acceso permanente y capacidad de publicar hallazgos; 2) coordinación de estándares entre democracias; 3) negociación geopolítica con gobiernos para limitar la automejora.
  • 🗺️ Altman respondió a Amodei proponiendo equals a ese esquema de evaluadores externos, pero dijo que no es necesario esperar una exención antimonopolio ni legislación para empezar; cada laboratorio debe cumplir esas garantías ya.
  • 🤝 Elon Musk respaldó públicamente la propuesta de Amodei, mientras que otras voces de la industria, como Stability AI, lo cuestionaron por considerarlo insuficiente frente a pausar entrenamientos.
  • 🕯️ Jacob Coxon, investigador de Anthropic, renunció en septiembre y dijo que el problema no son las personas, sino las instituciones; Amodei, en parte de acuerdo, no se compromete a frenar unilateralmente el desarrollo de los modelos.
  • 🏛️ Altman añadió medidas para todo el sector: diseño de un marco regulatorio federal con requisitos de seguridad, auditores independientes con supervisión real y una coordinación internacional con respaldo estatal.

El debate sobre el futuro de la inteligencia artificial se aceleró en la última semana y este lunes fue Sam Altman, el fundador y CEO de OpenAI —creador de ChatGPT—, quien advirtió que el avance de la tecnología “podría salir muy mal”. En una serie de publicaciones en su cuenta de X, el empresario identificó dos riesgos potenciales sobre la IA, apenas un día después de cancelar la salida a la bolsa de su marca.

Como primer riesgo, Altman consideró la posibilidad de que la humanidad “pierda el control del futuro” frente a la IA: “Esto es inaceptable; la IA siempre debe servir a las personas”, escribió, y agregó que las técnicas de alineación y seguridad deben avanzar al mismo ritmo —o por delante— que las capacidades de los modelos.

El segundo escenario que planteó Altman es el de una concentración excesiva de poder. “Si una IA extraordinariamente poderosa es usada por una persona o una empresa para imponer su visión del mundo a todos los demás, los resultados podrían ser extremadamente distópicos”, sostuvo. El CEO de OpenAI señaló que evitar ambos riesgos exige “caminar por un sendero angosto” y puso como ejemplos el peligro de que un país o un laboratorio de IA concentren demasiado poder.

Las declaraciones se dieron en el mismo momento en que trascendió que OpenAI decidió no salir a cotizar en bolsa durante 2026, pese a haber iniciado el proceso de forma confidencial en junio. Altman explicó que sería “un momento poco prudente” para dar ese paso por las preocupaciones de seguridad que atraviesa la industria, y fue más allá al sostener que “es inaceptable asumir un riesgo del 10% de acabar con la vida de todo el mundo” antes de que termine la década.

Los mensajes de Altman llegaron como respuesta directa a Dario Amodei, CEO de Anthropic, la otra gran empresa de IA generativa de Estados Unidos. El sábado, Amodei había publicado un ensayo titulado “We Must Pace the Frontier” (“Debemos marcar el ritmo de la frontera”), en el que reconoció que procesos de “automejora recursiva” —sistemas de IA capaces de contribuir al desarrollo de futuras generaciones de modelos— ya “están empezando a ocurrir en toda la industria, incluida Anthropic”. El texto citaba además un incidente de julio en el que agentes de evaluación de OpenAI, en pruebas con Hugging Face, actuaron “como un colectivo fanáticamente devoto” y tentaron vulnerar los sistemas que debían controlarlos.

El plan de Amodei propone tres pasos escalonados. El primero, el único que Anthropic asume de forma unilateral e inmediata, consiste en incorporar evaluadores externos con acceso permanente a la compañía —oficina, credenciales y permisos comparables a los de un empleado— y con la potestad de publicar sus hallazgos sin que la empresa pueda vetarlos por resultarle desfavorables. El segundo paso, la coordinación de estándares comunes entre empresas de países democráticos, requiere que el gobierno de Estados Unidos otorgue una exención antimonopolio para que los competidores puedan acordar límites conjuntos. El tercero apunta a una negociación geopolítica con gobiernos autoritarios para poner un “límite de velocidad” a la automejora recursiva, en una comparación que el propio Amodei trazó con los tratados SALT de control de armas nucleares durante la Guerra Fría.

Precisamente sobre ese segundo punto giró la respuesta de Altman. El CEO de OpenAI se comprometió a igualar el esquema de evaluadores externos propuesto por Amodei, pero cuestionó la necesidad de esperar una definición del Estado para actuar: “No creemos que haga falta esperar una exención antimonopolio ni una legislación para empezar el trabajo”, escribió, y sostuvo que cada laboratorio de punta debería cumplir esas garantías de seguridad sin más dilación. Según trascendió, Elon Musk también respaldó públicamente el planteo de Amodei, mientras que desde otros sectores de la industria —como Stability AI— se lo cuestionó por considerarlo insuficiente frente a la opción de directamente pausar los entrenamientos de los modelos más avanzados.

El cruce entre los dos CEO más visibles de la industria de la IA ocurre además en medio de la renuncia de Jacob Coxon, investigador de Anthropic que dejó la compañía en septiembre y cuestionó públicamente la velocidad del desarrollo del sector: “El problema no son las personas, es la institución”, declaró, al advertir que la industria “apuesta con nuestras vidas”. En su ensayo, Amodei coincidió en buena parte de ese diagnóstico, aunque remarcó una diferencia con Coxon: a diferencia del investigador, que renunció exigiendo una desaceleración inmediata, él no se comprometió a frenar el desarrollo de los modelos de Anthropic de manera unilateral.

Altman, por su parte, completó su planteo con una serie de medidas que consideró necesarias para todo el sector: el diseño de un marco regulatorio federal con requisitos de seguridad comunes, la existencia de auditores independientes con capacidad real de supervisión, y una coordinación internacional que cuente con respaldo estatal.

MC

976887

Suscribite a nuestro newsletter

Un resumen de las noticias más relevantes directo en tu email.