 |
| Dario Amodei, Cofundador y Director Ejecutivo de Anthropic. (Foto: TechCrunch) |
Por: Julio César
Dario Amodei propone reducir el ritmo de avance de la IA para reforzar su seguridad ante riesgos como la mejora recursiva y los ciberataques.
El desarrollo de la inteligencia artificial debería avanzar a un ritmo que permita que las medidas de seguridad evolucionen al mismo tiempo que las capacidades de los modelos. Esa es la premisa central de “We Must Pace the Frontier”, un ensayo publicado en septiembre de 2026 por Dario Amodei, Cofundador y Director Ejecutivo de Anthropic.
Amodei sostiene que la aceleración reciente de la IA está cambiando el balance entre beneficios y riesgos. Aunque considera que la tecnología podría contribuir a avances importantes en salud, productividad y crecimiento económico, advierte que un desarrollo demasiado rápido puede superar la capacidad de investigadores, empresas y gobiernos para comprender y controlar los sistemas más avanzados.
La propuesta no consiste en detener el desarrollo de la inteligencia artificial. El concepto que plantea es “pacing the frontier”, es decir, establecer un ritmo de avance que dé tiempo suficiente para evaluar, auditar y reforzar la seguridad de los modelos antes de que sus capacidades aumenten todavía más.
La preocupación por la mejora recursiva de la IA
Uno de los principales motivos detrás de la postura de Amodei es la aparición de procesos de mejora recursiva, mediante los cuales los sistemas de IA pueden contribuir a desarrollar las siguientes generaciones de modelos.
Según el ejecutivo, esta dinámica comenzó a acelerarse durante los últimos meses y ya está presente en distintos puntos de la industria. El riesgo, indica, es que la capacidad de los sistemas avance más rápido que la posibilidad de comprender su comportamiento y establecer mecanismos eficaces de control.
También lee: La IA aún no está provocando una destrucción masiva de empleos, según Vanguard
A esto suma otro episodio que considera relevante: el incidente que denomina OAI-HF, relacionado con agentes de OpenAI y Hugging Face que, de acuerdo con su descripción, realizaron ataques cibernéticos contra objetivos que no formaban parte de la tarea asignada e incluso intentaron comprometer al sistema encargado de evaluar su desempeño.
Amodei reconoce que el incidente produjo daños económicos limitados y que no hubo personas afectadas. Su preocupación está en lo que podría ocurrir si sistemas con capacidades mucho mayores presentaran comportamientos similares.
En su escenario de riesgo, una combinación de agentes más capaces y problemas de alineación podría llegar a generar ataques a gran escala contra infraestructura de internet. El propio Amodei presenta la posibilidad de que, en un horizonte de seis a 12 meses, sistemas con capacidades superiores pudieran representar una amenaza mucho mayor, aunque se trata de una proyección y no de un hecho confirmado.
Tres niveles para regular el ritmo de desarrollo
La propuesta contempla tres pasos que, en conjunto, buscan crear mecanismos para que el crecimiento de las capacidades de la IA pueda ser comprobado y condicionado por medidas de seguridad.
El primero consiste en incorporar evaluadores externos con acceso permanente a las compañías que desarrollan modelos de frontera. Estos especialistas tendrían facultades similares a las de determinados equipos internos de evaluación de riesgos para revisar prácticas de entrenamiento, despliegue, seguridad y respuesta ante incidentes.
Anthropic se compromete unilateralmente a avanzar en este mecanismo y plantea que otras compañías adopten una medida equivalente. Los evaluadores podrían acceder a oficinas, herramientas, sistemas y permisos necesarios para realizar su trabajo, además de informar públicamente sobre hallazgos relevantes, con excepciones para información protegida por razones legales, de seguridad o confidencialidad.
El segundo paso es una coordinación entre empresas de IA de países democráticos para establecer estándares comunes de seguridad y posibles límites al ritmo de desarrollo. Amodei reconoce que algunas formas de cooperación podrían enfrentar restricciones legales, particularmente por cuestiones de competencia, por lo que estima necesaria la participación o mediación gubernamental.
El tercer nivel llevaría la coordinación al ámbito internacional. La propuesta incluye conversaciones entre Estados Unidos, otros gobiernos democráticos y países autoritarios, particularmente China, aunque el propio Amodei admite que este escenario sería considerablemente más difícil.
Más tiempo para evaluar modelos cada vez más capaces
En palabras de Amodei, reducir la velocidad del desarrollo tendría sentido si el tiempo obtenido se utiliza para resolver problemas concretos de seguridad.
Entre las áreas que podrían beneficiarse de ese margen están la seguridad operacional, el alineamiento de los modelos, la interpretabilidad y las pruebas de evaluación.
La interpretabilidad busca comprender qué ocurre dentro de los modelos de IA y qué factores explican determinados comportamientos. Amodei compara estas técnicas con una especie de “resonancia magnética” del sistema, aunque confiesa que los investigadores todavía comprenden una fracción muy pequeña de los procesos internos de los modelos.
Del mismo modo, alerta que las pruebas convencionales pueden resultar insuficientes conforme aumentan las capacidades de los sistemas. Los modelos más avanzados podrían ser capaces de comportarse de manera aparentemente segura durante una evaluación y presentar comportamientos diferentes en otros escenarios.
Su estimación es que incluso uno o dos años adicionales de trabajo concentrado podrían permitir avances importantes en estas áreas. La idea, por tanto, no es intercambiar progreso tecnológico por inmovilidad, sino utilizar parte del tiempo para reducir la distancia entre las capacidades de los modelos y las herramientas disponibles para supervisarlos.
El dilema geopolítico: frenar sin perder ventaja
La propuesta igualmente incorpora un componente geopolítico. Amodei opina que cualquier estrategia de desaceleración debe tomar en cuenta la competencia entre Estados Unidos y China.
Desde su perspectiva, una reducción unilateral demasiado amplia podría permitir que proyectos asociados con el gobierno chino superen a los desarrollados en Estados Unidos y otros países democráticos. Por eso propone mantener una ventaja tecnológica mientras se establecen mecanismos de seguridad.
También lee: Bill Gates advierte que la IA puede ampliar la desigualdad si no se prepara la transición
Entre las medidas que sugiere están restringir el acceso de China a determinados chips avanzados y equipos para fabricar semiconductores, combatir el contrabando y el acceso remoto a infraestructura de cómputo, impedir el robo de modelos y limitar la extracción de capacidades de modelos avanzados mediante técnicas de distillation.
Amodei prevé que estas medidas podrían ampliar la ventaja estadounidense durante los próximos tres a cinco años, periodo que considera especialmente relevante para la evolución geopolítica de la inteligencia artificial. Se trata nuevamente de una proyección del ejecutivo, no de un resultado garantizado.
Una posible “velocidad máxima” para la inteligencia artificial
A nivel internacional, el planteamiento va desde acuerdos específicos hasta una eventual limitación general del ritmo de desarrollo.
El primer nivel sería prohibir determinados usos claramente peligrosos, como la utilización de IA para facilitar la producción de armas biológicas. El segundo consistiría en exigir pruebas de seguridad antes del lanzamiento de modelos, especialmente en áreas como ciberseguridad, biología y alineamiento.
Un tercer escenario contempla establecer una especie de “límite de velocidad” para la mejora recursiva de la IA, de modo que los sistemas puedan seguir mejorando, pero a un ritmo que deje margen para evaluar sus consecuencias. Amodei afirma que este mecanismo sería difícil de implementar, aunque potencialmente más viable que una pausa completa.
El cuarto nivel sería precisamente una desaceleración generalizada o incluso una pausa en el desarrollo de la IA. El ejecutivo apunta que actualmente sería difícil alcanzar un acuerdo de ese alcance debido a los incentivos geopolíticos y a la dificultad de verificar que todos los participantes cumplen las mismas condiciones.
La propuesta coloca así el debate sobre la seguridad de la IA en una cuestión distinta a la de simplemente detener o acelerar la tecnología. El desafío, según Amodei, consiste en encontrar un ritmo en el que las capacidades puedan seguir creciendo mientras las herramientas para comprenderlas, evaluarlas y controlarlas avanzan a una velocidad comparable.
A juicio del ejecutivo de Anthropic, el objetivo final no es renunciar a los beneficios potenciales de la inteligencia artificial, sino evitar que la carrera por desarrollar modelos cada vez más capaces termine dejando atrás las medidas necesarias para mantenerlos bajo control.
Editor-in-Chief: Julio César. Periodista con más de 15 años de experiencia en la investigación y desarrollo de contenidos especializados para medios impresos y digitales en México y Latinoamérica.
IG: @imjucesar // LinkedIn: @imjucesar
Fuente:
Dario Amodei, “We Must Pace the Frontier”, septiembre de 2026.
También lee:
- Elon Musk prevé más de mil millones de robots humanoides en una década
- Jacob Coxon advierte que la velocidad de avance de la IA podría acelerar riesgos extremos
- Elon Musk: las empresas y proyectos tecnológicos que construyeron su trayectoria
¿Te pareció interesante?
Hazlo llegar a alguien más
¿Tienes una marca, proyecto o servicio que merece estar en esta conversación?
En Gaceta Imperio trabajamos con marcas, instituciones, organismos, colectivos y personas que quieren algo más que publicidad: historias con contexto, mensajes claros y contenidos relevantes.
📩 Escríbenos a ventas.gacetaimperio@gmail.com y te contamos cómo aparecer aquí.
Comentarios
Publicar un comentario