Debemos marcar el ritmo de la frontera

@DarioAmodei en X

Director ejecutivo de Anthropic

Septiembre de 2026

He trabajado en inteligencia artificial durante los últimos doce años porque creo que podría elevar drásticamente la calidad de vida humana. He escrito con frecuencia sobre estos beneficios extraordinarios: creo que la IA podría curar la mayoría de las enfermedades graves en los próximos 5 a 10 años, acelerar considerablemente las tasas de crecimiento económico, crear un mundo de abundancia y empoderamiento, e impulsar un renacimiento de la democracia y la libertad.

Siento esta urgencia en lo personal. Mi propio padre murió de una enfermedad que fue curada apenas unos años después de su fallecimiento, y yo sobreviví a un cáncer en etapa temprana que no habría podido tratarse ni siquiera hace cincuenta años. Utilizada con cuidado, la IA puede ser el más reciente de una larga serie de milagros tecnológicos que han elevado y dignificado a la humanidad.

Pero, como muchas tecnologías anteriores, la IA implica riesgos. Y debido a que es una tecnología tan poderosa, esos riesgos son serios. También he escrito mucho sobre ellos. Incluyen el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo, así como graves disrupciones económicas. Una carrera hacia el fondo, impulsada por incentivos comerciales, puede volver estos riesgos todavía más agudos.

Junto con mis cofundadores y empleados, he lidiado con esta dualidad entre riesgo y beneficio desde el inicio de Anthropic. No desarrollar la tecnología priva a la humanidad de sus beneficios o, simplemente, deja la IA en manos de poderes autoritarios; pero desarrollarla demasiado rápido es irresponsable. Hemos buscado un punto intermedio: demostrar que es posible construir con cuidado y tener éxito comercial, y convertir la seguridad en un ámbito en el que las empresas de IA compitan. En otras palabras, crear una carrera hacia arriba.

Siempre hemos dedicado una fracción sustancial de nuestros esfuerzos a estudiar, enfrentar e informar al público sobre estos riesgos de la IA, así como a defender una regulación de la IA bien pensada, incluso cuando eso nos ha llevado a ser acusados de exageración, de “catastrofismo” o de buscar captura regulatoria. Hemos tratado de priorizar la cautela por encima de la velocidad y la prudencia por encima de la ganancia. 

Sin embargo, durante los últimos meses, me he convencido de que abordar plenamente estos riesgos exige aún más prudencia: no solo invertir en la prevención de riesgos, sino también marcar el ritmo del avance de las capacidades para que la prevención de riesgos tenga tiempo de mantenerse al día. Debemos desacelerar el ritmo al que mejoramos las capacidades de los modelos de IA.

El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganemos. Dos cosas me han llevado a esta conclusión.

Mi primera preocupación es que, aproximadamente desde este verano, la IA ha avanzado de manera drásticamente más rápida, impulsada principalmente por la creciente capacidad de la propia IA para construir la siguiente generación de IA. Esta dinámica se conoce como mejora recursiva autónoma y está comenzando a ocurrir en toda la industria, incluido Anthropic, como nosotros y otros hemos descrito. Si se deja sin control, podría superar nuestra capacidad para comprender y controlar estos sistemas; por lo tanto, debe perseguirse con extremo cuidado, si es que se persigue.

Mi segunda preocupación es el incidente OpenAI–Hugging Face, o OAI-HF, en el cual un enjambre de agentes actuó esencialmente como un colectivo fanáticamente devoto: llevó a cabo ciberataques contra objetivos que no se le pidió atacar y que no estaban relacionados con la tarea en cuestión; sacrificó a algunos de sus componentes para lograr el éxito del grupo e intentó ingresar ilícitamente al “evaluador” encargado de calificar su desempeño.

Es fácil minimizar este incidente porque nadie resultó herido y el daño económico fue mínimo. Pero, en mi opinión, un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado un daño catastrófico. Dado el ritmo acelerado del desarrollo de capacidades de IA, me preocupa que, en 6 a 12 meses, un enjambre de ese tipo pueda ser capaz de tomar el control de todo internet mediante una botnet persistente, potencialmente causando cientos de miles de millones de dólares en daños.

Y la escala del daño seguiría creciendo si la IA se vuelve más poderosa sin las barreras de protección necesarias. También es fácil descartar OAI-HF como el fracaso de una sola empresa, pero creo que hacerlo sería un error. Incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluido Anthropic. Considero que corresponde a cada empresa de IA de frontera actuar como si OAI-HF le hubiera ocurrido a ella.

Por ello propongo un plan de tres pasos cuyo objetivo es marcar el ritmo de la frontera: desarrollar IA a una velocidad equilibrada que procure garantizar su seguridad, al tiempo que se alcanzan sus beneficios y se enfrentan dilemas geopolíticos importantes.

Para ser claro: marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico. Significa asegurar que las empresas tomen el tiempo adecuado para alinear y proteger sus modelos, y que evaluadores independientes confirmen esto. Nuestro marco de ritmo es un intento por reforzar aún más nuestro compromiso con la seguridad e incentivar una carrera hacia arriba.

El primer paso es algo que Anthropic se compromete a hacer unilateralmente, y sobre lo cual exhorta a los gobiernos a exigir que otras empresas de frontera igualen. El segundo paso requiere coordinación en toda la industria.¹ El tercer paso requiere coordinación global.

Los pasos no tienen que realizarse estrictamente en ese orden, y algunos podrían ser mucho más difíciles de conseguir que otros. Sin embargo, he considerado que son un marco útil para reflexionar sobre lo que debe lograrse.

Los pasos son los siguientes:

1. Evaluadores integrados. Cada empresa de IA de frontera se compromete a dar acceso permanente, similar al de un empleado, a un equipo de evaluadores externos integrados —como METR— cuya función sea verificar la adhesión a prácticas y compromisos de seguridad, reportar incidentes y ayudar a evaluar la alineación no solo de los modelos de IA terminados, sino también de los procesos y canales de entrenamiento. Este es el paso clave para hacer verificable cualquier compromiso de marcar el ritmo. Tiene precedentes en la industria bancaria, que en ocasiones incluye “supervisores” regulatorios integrados junto con los empleados. Anthropic se compromete unilateralmente con este paso desde ahora. Pretendemos que sea parte de un esfuerzo más amplio para redoblar nuestro trabajo en seguridad y alineación.

2. Coordinación democrática. Las empresas de IA de frontera dentro de países democráticos coordinan esfuerzos para establecer estándares comunes de seguridad, así como límites a la tasa de progreso no supervisado de la IA. Algunas formas de coordinación que tendrían impacto para marcar el ritmo presentan retos legales y requerirán respaldo gubernamental.

   
   

3. Coordinación global. Estados Unidos y otros gobiernos democráticos intentan coordinarse con gobiernos autoritarios, en la medida en que esto sea posible, tomando seriamente los desafíos de verificar el cumplimiento.

En el resto del ensayo describo cada uno de estos pasos, pero antes considero importante explicar específicamente cómo marcar el ritmo permitiría hacer más seguro el proceso de desarrollo de IA. Lo que está en juego es demasiado importante como para que esta estrategia sea un ejercicio vacío: debemos aprovechar con inteligencia el tiempo que nos otorgue.

¿Por qué marcar el ritmo? 

La idea de pausar o desacelerar la IA se ha planteado desde 2023, y creo que en aquel entonces tenía poco sentido. La pregunta siempre fue: ¿qué harían con el tiempo adicional?

Los modelos de IA de esos años no eran lo suficientemente poderosos para actuar como agentes en el mundo de una manera coherente. Tampoco eran capaces de un engaño, manipulación, trampa o ciberataques significativos. Desacelerar para abordar sus riesgos de alineación parecía como intentar estudiar la psicología humana realizando experimentos con bacterias.

Hoy, sin embargo, el panorama es completamente diferente. Los modelos actuales son una mina de oro casi inagotable de información, tanto sobre cómo construir bien la IA como sobre lo que a veces puede salir mal cuando no se construye adecuadamente. 

Creo que si desacelerar nos diera siquiera uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad, y utilizáramos ese tiempo para avanzar en alineación, podríamos reducir enormemente el riesgo de que algo salga gravemente mal.

Una estrategia coordinada para marcar el ritmo daría a los desarrolladores de IA de frontera el tiempo para realizar este trabajo vital sin sacrificar ventaja comercial ni el liderazgo de Estados Unidos en IA. En un sentido más amplio, la sociedad debe tener voz sobre cómo se utiliza esta tecnología. Más tiempo para las deliberaciones públicas necesarias —que marcar el ritmo de la frontera nos brindaría— es, sin duda, algo positivo.

Específicamente, un ritmo más lento permitiría a las empresas concentrarse y dedicar aún más recursos a las siguientes áreas, todas las cuales ya son prioridades importantes en Anthropic:

Excelencia operativa 

Entrenar y desplegar los modelos de IA actuales representa un enorme reto operativo. Involucra a miles de personas, millones de chips e infraestructura que se encuentra entre las más complejas de la historia tecnológica.

Muchas cosas salen mal no porque las empresas carezcan de una teoría o una idea importante, sino debido a problemas de ejecución. Por ejemplo, tenemos evidencia de que los incidentes recientes de alineación que reportamos fueron causados en parte por un filtrado imperfecto de entornos defectuosos de aprendizaje por refuerzo.

Este fue un esfuerzo que nosotros y nuestros proveedores ejecutamos con una diligencia razonable, pero no con la calidad suficiente. El monitoreo, los entornos aislados o sandboxes, la higiene de los entornos de entrenamiento y los problemas de datos son áreas extremadamente complejas donde los problemas operativos aparecen una y otra vez.

Contamos con algunos de los equipos más competentes del mundo para estas tareas, pero simplemente hay demasiado por hacer al mismo tiempo. Trabajando a un ritmo más mesurado, podríamos lograr una excelencia operativa mucho mayor.

Existe un precedente de operar millones de veces sistemas tecnológicamente complejos y críticos para la seguridad sin que ocurra nada malo: por ejemplo, los aviones comerciales. Pero lograrlo correctamente requiere tiempo.

Alineación 

Hemos logrado avances claros en alineación: entrenar modelos para que sigan siendo seguros, éticos, compatibles con nuestras directrices y genuinamente útiles; los principios incorporados en la Constitución de Claude.

Pero queda mucho por hacer para asegurar que nuestro entrenamiento de alineación mantenga el paso frente al crecimiento de las capacidades de los modelos. Todavía emergen, en ocasiones, ejemplos raros e inesperados de comportamientos no deseables. El tiempo adicional que daría una frontera con ritmo controlado ayudaría a nuestros investigadores a mejorar la comprensión de las causas de estos problemas y desarrollar mejores técnicas para prevenirlos.

Interpretabilidad 

De manera similar, la interpretabilidad —la ciencia que busca comprender lo que ocurre dentro de los modelos de IA— ha logrado enormes avances en los últimos años y desempeña un papel cada vez más importante al auditar nuestros modelos antes de su lanzamiento.

Puede utilizarse casi como una exploración por resonancia magnética funcional, o fMRI, pero aplicada al “cerebro” de una IA: ayuda a observar las razones subyacentes detrás de un comportamiento determinado. Por ejemplo, utilizamos métodos de interpretabilidad para examinar motivaciones no verbalizadas en los recientes incidentes de alineación que hemos estado investigando.

Pero estos métodos no siempre producen resultados claros y confiables. A pesar de todo el progreso, todavía comprendemos solo una fracción diminuta de lo que sucede dentro de estos modelos. Un esfuerzo enfocado para mejorar nuestras técnicas de interpretabilidad, incluso más rápido de lo que avanzamos actualmente, podría conseguir avances profundos en 1 a 2 años y tendría abundante material experimental basado en incidentes que ya han ocurrido

Pruebas y evaluación

Probar y evaluar modelos de IA se vuelve más difícil conforme incrementan sus capacidades. Los modelos más inteligentes tienen mayor capacidad para engañar a las pruebas y, por lo tanto, pueden parecer alineados mientras ocultan problemas serios que pasan inadvertidos.

Crear un conjunto mucho más amplio e ingenioso de evaluaciones, junto con análisis de interpretabilidad para contrastarlas, sería sumamente valioso. En un periodo de 1 a 2 años podría lograrse un avance significativo en este campo.

Evaluadores integrados

El primer paso del plan de tres etapas, y aquel al que Anthropic se compromete unilateralmente, consiste en contar con evaluadores integrados que tengan acceso similar al de los empleados para verificar las prácticas de seguridad y reportar incidentes.

Incorporar evaluadores puede parecer una medida pequeña o poco trascendente. Sin embargo, con frecuencia las cosas que parecen más aburridas o procedimentales son en realidad las más esenciales.

Los evaluadores integrados son, de hecho, una práctica bastante radical que va mucho más allá de lo que cualquier empresa de IA está haciendo hoy y ofrece los siguientes beneficios:

Verificabilidad 

Los evaluadores integrados pueden comprobar, a nivel de los detalles operativos, si una empresa de IA realmente sigue las prácticas de entrenamiento, despliegue, operación y salvaguardas que afirma seguir.

Cualquier compromiso para marcar el ritmo inevitablemente involucrará mucha ambigüedad, decisiones de criterio y la diferencia entre cumplir la letra de la norma y cumplir su espíritu. Parece vital contar con un tercero neutral que pueda observar los detalles reales.

Transparencia 

Independientemente de los compromisos que hagamos, el público merece saber qué está ocurriendo. Anthropic ha apoyado la transparencia desde hace mucho tiempo: respaldamos legislación de transparencia cuando la mayor parte de la industria se oponía a cualquier regulación, y nuestras tarjetas de modelos e informes de riesgo tienen cientos de páginas.

Sin embargo, seguimos siendo nosotros quienes decidimos qué incluir y qué omitir. Los evaluadores integrados cambiarán esa dinámica.

Segunda opinión

Más allá de verificar compromisos formales e informar al público, los evaluadores integrados pueden simplemente aportar una segunda opinión libre de incentivos comerciales.

Muchos beneficios de seguridad podrían surgir simplemente porque los evaluadores señalen algo que los empleados no habían considerado, pero que estarán dispuestos a corregir una vez que sean conscientes de ello.

Debido a estos beneficios, cualquier propuesta para marcar el ritmo probablemente funcionará mucho mejor si comienza con evaluadores integrados.

Estos evaluadores integrados deben tener acceso permanente a permisos y herramientas similares a los de los empleados internos que realizan evaluaciones de riesgo comparables. En particular, Anthropic planea invitar próximamente a un equipo externo de revisión integrado, equipado con todo lo siguiente:

• Espacios de trabajo en nuestras oficinas, credenciales de acceso y computadoras portátiles de la empresa.

• Acceso a espacios de trabajo, herramientas y permisos en gran medida comparables a los que tienen los equipos internos de evaluación de riesgos. Estableceremos algunas excepciones, por ejemplo, cuando la ley o nuestros contratos así lo exijan, o para proteger información privada de clientes y socios. También estableceremos normas internas sólidas que refuercen el acceso de los revisores a información relevante, incluso mediante conversaciones en vivo con empleados.

• Un contrato que equilibre las complejidades mencionadas anteriormente. Los revisores externos deberían tener el derecho de publicar hallazgos clave sobre niveles de riesgo, incidentes, prácticas y el acceso que recibieron o no recibieron, sin control editorial de Anthropic. Tendremos una capacidad limitada para tachar o reservar información sensible para la seguridad, protegida por privilegio legal, comercialmente sensible o confidencial de terceros. Pero no podremos eliminar hallazgos simplemente porque sean desfavorables. Los revisores podrán declarar públicamente si una reserva de información eliminó algo importante para sus conclusiones. 

Este es un paso inusual para una empresa, pero creemos que es importante demostrar la viabilidad del concepto de revisores externos integrados. Una vez más, exhortamos a otras empresas de frontera a hacer lo mismo.

Marcar el ritmo dentro de las democracias 

Una vez que los evaluadores integrados operen dentro de una masa crítica de empresas estadounidenses de IA, será más viable marcar el ritmo de forma verificable. En particular, será posible hacerlo con base en propiedades detalladas de los modelos o de los procesos de entrenamiento.

El método más eficaz para marcar el ritmo es mediante regulación que cubra a todas las empresas estadounidenses de IA de frontera, ya que abarcaría incluso a aquellas que no estén dispuestas a cooperar voluntariamente.

Anthropic ha apoyado durante mucho tiempo una regulación sensata y focalizada de la IA, en particular iniciativas legislativas que se concentran en transparencia y auditoría por terceros. Creo que todos los laboratorios de frontera deberían asociarse con el gobierno para formalizar la idea de evaluadores integrados permanentes, a fin de prevenir y documentar mejor incidentes internos de alineación como los que han ocurrido en los últimos meses, así como para implementar una regulación orientada a mantener las capacidades en equilibrio con la seguridad.

Desafortunadamente, aprobar leyes puede tomar tiempo y la IA avanza muy rápido. Por ello, en paralelo con la ruta regulatoria, las empresas de IA pueden y deben tramarcar voluntariamente en conjunto para establecer estándares; un proceso que, en mi opinión, funcionará mejor con la verificabilidad que brindan los evaluadores integrados permanentes.

Por razones de competencia económica o antimonopolio, resulta útil que el gobierno de Estados Unidos medie o, al menos, habilite estas conversaciones. No necesita participar directamente, pero sí debe emitir una exención limitada para ciertos tipos de conversaciones sobre seguridad.

Este diálogo también podría realizarse a través de grupos de la industria que tengan alguna vinculación con el gobierno, por ejemplo, mediante el mecanismo sugerido por Demis Hassabis. De cualquier forma, dichas conversaciones deberían avanzar rápidamente.

En términos generales, me entusiasma más una estrategia de ritmo basada en lo que un sistema de IA de frontera puede hacer y en cuán seguro observamos que es.

Por ejemplo, un posible esquema podría consistir en una serie de “puntos de control”: si los modelos tienen la capacidad X, entonces deben estar acompañados por certificaciones de propiedades de alineación Y y Z, como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento, que demuestren sus propiedades de alineación.

En este ejemplo, X podría ser: “el modelo es capaz de escapar o derrotar la mayoría de los métodos comunes de aislamiento o sandboxing”. Y podría ser lo que se requiera para que sea muy improbable que el modelo tenga una propensión a escapar de su entorno y tomar el control de un gran número de computadoras.

También debemos considerar una estrategia basada en limitar los insumos que entran a los modelos de frontera, como la capacidad de cómputo para entrenamiento, la naturaleza de las corridas de entrenamiento o el uso interno de IA para mejorar IA.

Me preocupa que algunas de estas medidas puedan ser más susceptibles de manipulación que el comportamiento externo observable, pero este es el tipo de tema que vale la pena discutir con evaluadores integrados.

Marcar el ritmo dentro de las democracias estará limitado por la ventaja que tienen las empresas estadounidenses sobre los regímenes autoritarios, principalmente el Partido Comunista Chino, o PCCh.

Si desaceleramos más allá de esa ventaja, entonces proyectos asociados al PCCh —que no seguirían el mismo ritmo— podrían tomar la delantera, creando un riesgo importante para la seguridad nacional. Coincido con el secretario Bessent en que un liderazgo chino en IA representaría un grave peligro para Estados Unidos y el mundo.

Los proyectos asociados al PCCh asumirán riesgos de alineación que las empresas estadounidenses están tratando de prevenir cuidadosamente. E incluso si evitan esos riesgos, estarían en posición de dominar militarmente a las democracias, por ejemplo, mediante drones impulsados por IA.

Por lo tanto, una parte fundamental de marcar el ritmo dentro de las democracias consiste en mantener la ventaja de las democracias en IA sobre las autocracias lo más amplia posible, para tener el margen de maniobra necesario a fin de regular el ritmo de forma efectiva.

Los principales pasos que podemos tomar para proteger esta brecha son:

• No vender a China chips de IA potentes ni equipos de fabricación de semiconductores, y combatir las operaciones de contrabando de chips y el acceso remoto a centros de datos ubicados fuera de China. Los chips serán el principal determinante de la fortaleza de China en IA.

• Combatir la destilación no autorizada realizada por empresas de países autoritarios. La destilación de modelos de frontera permite a empresas rezagadas cerrar la brecha utilizando una fracción del costo que les tomaría desarrollar su propia IA de forma independiente.

• Reforzar la seguridad en las empresas de IA y prevenir el robo de los pesos de los modelos.

Las empresas y el gobierno de Estados Unidos deben cooperar para hacer estas medidas tan eficaces como sea posible. Anthropic ha defendido de forma consistente todas estas medidas porque siempre hemos entendido que serían esenciales para cualquier estrategia de control del ritmo.

Si ejecutamos bien estas medidas, creo que desacelerarían lo suficiente el avance de China como para ampliar significativamente la ventaja de Estados Unidos durante los próximos 3 a 5 años, la ventana en la cual la IA se volverá más importante desde el punto de vista geopolítico.

Algunas personas podrían pensar que estas medidas dificultan la cooperación con China, pero creo lo contrario: aumentan la capacidad de negociación de las democracias y hacen más probable un acuerdo en el futuro.

Ritmo global 

En paralelo con marcar el ritmo dentro de las democracias, también deberíamos aspirar a un control mundial del ritmo de la frontera, aunque lograrlo será mucho más difícil. 

El control global del ritmo requerirá cooperación con China, el país autocrático que, con mucha diferencia, posee las capacidades de IA más avanzadas. No debemos ser ingenuos: las apuestas geopolíticas son tan altas que probablemente habrá límites claros sobre lo que puede lograrse, especialmente al principio.

Si restringimos en gran medida nuestras capacidades de IA creyendo que China hará lo mismo y después China incumple, la IA podría ser tan poderosa que tal incumplimiento conduciría a su predominio geopolítico.

Por lo tanto, cualquier acuerdo debe contar con verificabilidad a prueba de fallas o ser lo suficientemente limitado como para que el incumplimiento no represente una amenaza existencial desde el punto de vista militar. Sospecho que no solo Estados Unidos, sino también China, tendrá estas preocupaciones y ansiedades.

Debemos abordar cualquier decisión de control global del ritmo, especialmente en el corto plazo, de una manera que proteja la ventaja de Estados Unidos y sus aliados.

Existen varios niveles posibles de acuerdo. Algunos me parecen claramente factibles, como he sugerido antes, y sobre otros soy muy escéptico, aunque deberíamos intentarlo.

En orden de dificultad creciente:

Nivel 1 

Un acuerdo que prohíba ciertos usos restringidos y evidentemente peligrosos de la IA, como utilizar IA para la producción de armas biológicas o permitir que los usuarios lo hagan.

Los ataques bioterroristas son perjudiciales para todos, incluidos Estados Unidos y sus adversarios. Por ello, probablemente sea posible alcanzar un acuerdo en este ámbito. 

Nivel 2 

Un acuerdo mediante el cual ambas partes prueben sus modelos antes de lanzarlos para identificar riesgos graves en áreas como ciberseguridad, biología y alineación. 

Como se señaló anteriormente, esto podría realizarse por medio de un organismo mundial de estándares. De hecho, creo que crear dicho organismo probablemente sea factible. Sin embargo, otorgarle facultades reales será un desafío. 

La dificultad estará en verificar que ninguna de las partes tenga modelos secretos que no prueba, pero que podría desplegar en secreto, por ejemplo, para aplicaciones militares. 

Nivel 3 

Algún tipo de “límite de velocidad” sobre la tasa de mejora recursiva autónoma, o RSI por sus siglas en inglés.

A medida que los modelos construyan modelos futuros, el ritmo de mejora podría volverse sorprendentemente rápido. Reducir el ritmo de “extremadamente rápido” a “solo algo rápido” sacrifica relativamente poca ventaja estratégica, al tiempo que puede mejorar de manera considerable la seguridad.

Esto podría considerarse análogo a los tratados SALT: limitar el número de misiles redujo el potencial de destrucción, al tiempo que preservó la capacidad de disuasión de cada país. Creo que un acuerdo así sería difícil, pero se encuentra apenas dentro del límite de lo posible.

Nivel 4 

Un control total del ritmo, o incluso una “pausa”, mediante el cual los gobiernos participantes acuerden limitar sustancialmente la tasa general de desarrollo de IA. 

Apoyo poner esta idea sobre la mesa, pero considero poco probable que ocurra pronto. Incumplir dicho acuerdo eludiendo el monitoreo podría alterar radicalmente el equilibrio del poder global. Por ello, espero que los incentivos para hacerlo sean enormes y que el nivel de confianza requerido en la verificación deba ser muy alto. 

Cualquier cooperación que logremos con China ampliará el tiempo disponible para marcar en el ritmo de la frontera dentro de las naciones democráticas. Debemos aspirar a los niveles más altos, pero considerar los niveles inferiores como mucho más probables y realistas. 

Finalmente, es importante señalar que, incluso si no podemos conseguir acuerdos formales, simplemente cambiar las normas informales puede tener cierto valor. Compartir información sobre la mejora recursiva autónoma y sobre la desalineación de los modelos puede ayudar a convencer a todos de que actuar con imprudencia no responde a sus propios intereses. 

Sigo creyendo que la IA puede mejorar enormemente la calidad de vida humana. Mi deseo de alcanzar estos beneficios no ha disminuido. 

Pero los beneficios solo se lograrán si construimos la tecnología de la manera correcta. Y, siempre que utilicemos bien el tiempo que ganemos, vale la pena actuar con un nivel inusual de cuidado deliberado para hacerlo bien. 

El progreso seguirá siendo relativamente rápido, y podremos usar este tiempo para avanzar en la ciencia de la interpretabilidad, mejorar la seguridad operativa y el rigor de las empresas de IA de frontera, y construir modelos en cuya alineación tengamos mucha mayor confianza. 

Las medidas que propongo para hacer avanzar la frontera a un ritmo seguro no serán fáciles. Pero creo que se lo debemos a la humanidad: debemos intentarlo. 

Este artículo fue publicado originalmente en inglés por Dario Amodei. La presente versión corresponde a una traducción literal del texto original.