Anthropic advierte: la IA está a punto de volverse más inteligente por sí sola y pide frenar su desarrollo

La empresa de inteligencia artificial alerta sobre el avance hacia sistemas capaces de auto-mejorarse de forma autónoma, un escenario que, según sus investigadores, podría llegar «antes de lo que la mayoría de instituciones están preparadas».

Anthropic, la empresa creadora del modelo Claude, ha publicado una advertencia pública sobre el ritmo acelerado del desarrollo de la inteligencia artificial. La compañía señala que los sistemas de IA están cerca de poder diseñar, entrenar y mejorarse a sí mismos sin intervención humana, un fenómeno conocido como «auto-mejora recursiva», y ha solicitado una desaceleración global del sector.

Marina Favaro, directora del Anthropic Institute, y Jack Clark, cofundador de Anthropic, son los autores de esta advertencia difundida a través del blog oficial de la compañía el jueves. Ese mismo día, un grupo de líderes tecnológicos, que incluye a miembros de Anthropic y OpenAI, publicó una carta abierta instando a los legisladores a establecer mayores salvaguardas.

El desarrollo de IA se acelera y el papel humano se reduce

Favaro y Clark afirman que la inteligencia artificial ya está delegando tareas de desarrollo a otros sistemas de IA, lo que acelera el proceso de innovación. Según los ejecutivos, esta tendencia apunta hacia un escenario sin precedentes.

«Tomado lo suficientemente lejos, y dado suficiente poder de cómputo, esa tendencia apunta a un sistema de IA capaz de diseñar y desarrollar de forma totalmente autónoma su propio sucesor», escribieron los investigadores.

Un dato relevante respalda esta afirmación: el modelo Claude de Anthropic ya escribe aproximadamente el 80% del código que se fusiona en el repositorio de código de la empresa. Además, la mejora de los modelos de IA se duplica aproximadamente cada cuatro meses, en lugar de cada siete, como ocurría anteriormente, lo que evidencia una aceleración significativa.

El cuello de botella humano

La advertencia de Anthropic especifica que, cuando la calidad del código escrito por humanos y por IA sea equivalente, los humanos dejarán de escribir código y se limitarán a revisarlo. Sin embargo, este nuevo rol podría volverse insostenible.

«Si no pueden revisar el código tan rápido como Claude puede generarlo, la revisión humana se convertirá en el cuello de botella del desarrollo de la IA», advierten Favaro y Clark.

Los investigadores concluyen que la auto-mejora recursiva «no es inevitable», pero podría llegar «antes de lo que la mayoría de las instituciones están preparadas», lo que plantea serios interrogantes sobre la capacidad de regulación y control.

Riesgos de la auto-mejora y llamados a la regulación

La preocupación por la auto-mejora recursiva no es exclusiva de Anthropic. En diciembre, OpenAI declaró estar investigando cómo desarrollar e implementar inteligencia artificial cada vez más capaz de forma segura, incluyendo sistemas capaces de auto-mejora recursiva.

«Queremos que estos sistemas sigan consistentemente la intención humana en escenarios complejos del mundo real y condiciones adversas, eviten comportamientos catastróficos y permanezcan controlables, auditables y alineados con los valores humanos», señaló OpenAI en ese momento.

La compañía fundada por Sam Altman está contratando a un investigador para la preparación ante la auto-mejora recursiva, lo que indica que el escenario es considerado probable por los principales actores del sector.

El caso Claude Mythos

Anthropic ya ha tomado medidas preventivas concretas. En abril, la empresa descartó el lanzamiento público de su modelo «Claude Mythos» por considerarlo una amenaza para la ciberseguridad global, ya que podía crear exploits de software fácilmente.

Este antecedente ilustra la seriedad con la que la compañía aborda los riesgos asociados al desarrollo acelerado de la inteligencia artificial.

Carta abierta de líderes tecnológicos

El mismo jueves, un grupo de líderes tecnológicos, incluyendo miembros de Anthropic y OpenAI, publicó una carta abierta instando a los legisladores a establecer mayores salvaguardas. La preocupación principal es que la inteligencia artificial pueda superar «barreras de conocimiento» que históricamente han impedido la creación de armas biológicas por parte de actores malintencionados.

¿Es posible frenar? El dilema de la competencia

Favaro y Clark afirman explícitamente que «sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA fronteriza». Sin embargo, los propios ejecutivos reconocen un dilema fundamental.

Si una desaceleración solo permite que los actores menos cautelosos —competidores sin compromisos éticos— se pongan al día tecnológicamente, podría hacer que el mundo sea menos seguro en lugar de más protegido.

Sin un mecanismo de coordinación global, advierten, las empresas y los gobiernos se enfrentarán a decisiones difíciles sobre seguridad bajo presiones competitivas y geopolíticas. La pregunta abierta es si la industria y las administraciones serán capaces de cooperar para gestionar un riesgo que, según los propios actores, es inminente.

Aplicaciones en el mundo real: cómo los agentes de IA ya están en uso

Mientras el debate sobre la regulación avanza, los agentes de inteligencia artificial ya están siendo utilizados en diversos sectores, incluyendo el de las criptomonedas. Ejecutivos del sector cripto especulan que los agentes de IA liquidando transacciones podrían impulsar la adopción y los volúmenes de transacciones.

Jeremy Allaire, CEO de Circle, pronosticó en enero que «miles de millones de agentes de IA» operarían en nombre de los usuarios en un plazo de cinco años. Por su parte, Keyrock, una firma de inversión en criptomonedas, reportó el mes pasado que los agentes de IA liquidando pagos pasaron de ser un concepto a la realidad en los últimos doce meses, con 73 millones de dólares liquidados en 176 millones de transacciones.

Estos datos demuestran que la autonomía de la inteligencia artificial no es una posibilidad lejana, sino una realidad emergente que ya está transformando sectores económicos enteros, mientras la industria y los gobiernos debaten cómo gestionar sus riesgos.