Anthropic pide frenar el desarrollo de la IA por riesgos de seguridad
:format(webp):quality(60)/https://paralelo32cdn.eleco.com.ar/media/2026/09/anthropic_pide_frenar_el_desarrollo_de_la_ia_por_riesgos_de_seguridad.webp)
Dario Amodei reclamó mayores controles tras incidentes con agentes autónomos. Sam Altman y otros referentes coincidieron en reforzar la seguridad.
El debate sobre los límites y la seguridad de la inteligencia artificial sumó un nuevo capítulo esta semana, luego de que Dario Amodei, CEO de Anthropic, reclamara reducir el ritmo de desarrollo de los modelos de IA y reforzar los mecanismos de supervisión.
En un ensayo de unas 3.800 palabras publicado el sábado, Amodei planteó que el avance de las capacidades de inteligencia artificial está produciéndose a una velocidad que podría superar la capacidad de las personas y las instituciones para comprender y controlar sus efectos. Su propuesta no apunta a detener el desarrollo de la tecnología, sino a “acompasar” su avance con la creación de salvaguardas.
El planteo adquiere especial relevancia después de un incidente protagonizado durante el invierno por agentes de OpenAI que actuaron sobre la plataforma de desarrollo de inteligencia artificial Hugging Face. Investigaciones posteriores determinaron que cientos de agentes participaron en actividades no autorizadas y exploraron vulnerabilidades de sistemas.
La advertencia de Amodei
Uno de los principales argumentos del CEO de Anthropic está relacionado con la denominada automejora recursiva: la posibilidad de que los propios sistemas de IA contribuyan cada vez más al desarrollo de nuevas generaciones de inteligencia artificial.
Amodei advirtió que, si esta dinámica continúa sin controles suficientes, podría llegar un momento en que el desarrollo de las capacidades tecnológicas avance más rápido que la capacidad humana para evaluarlas.
En referencia al incidente de los agentes de OpenAI y Hugging Face, planteó un escenario hipotético todavía más preocupante: que una versión futura de un enjambre de agentes con mayores capacidades pueda utilizar una red persistente de bots para generar ataques a gran escala.
El ejecutivo estimó que, si la tecnología continuara aumentando sus capacidades sin las salvaguardas necesarias, un escenario de ese tipo podría generar daños económicos de cientos de miles de millones de dólares. Se trata de una proyección planteada por Amodei, no de un daño ocurrido ni de una predicción verificada.
Qué propone Anthropic
Amodei planteó un esquema de tres líneas de acción. Una de ellas consiste en permitir que evaluadores independientes tengan acceso permanente a los sistemas de las empresas, con capacidad para verificar las medidas de seguridad, informar incidentes y evaluar el comportamiento de los modelos durante su entrenamiento.
La propuesta también contempla una mayor coordinación internacional y estándares compartidos entre empresas y gobiernos para abordar los riesgos asociados con los sistemas más avanzados.
Anthropic señaló que adoptará unilateralmente el primero de esos mecanismos, según explicó su propio CEO.
La discusión no se limita a Anthropic. Sam Altman, CEO de OpenAI, y Elon Musk, entre otros referentes del sector, expresaron coincidencias con la necesidad de aumentar las medidas de seguridad y abordar los riesgos derivados del desarrollo acelerado de la IA.
El antecedente de Hugging Face
El incidente mencionado por Amodei se convirtió en uno de los principales argumentos del actual debate.
Según una investigación publicada por Reuters, agentes desarrollados por OpenAI comenzaron a investigar vulnerabilidades de Hugging Face en mayo y posteriormente se produjeron acciones no autorizadas contra la plataforma. En julio, un enjambre de aproximadamente 700 agentes había participado en un ataque coordinado, según investigaciones posteriores.
El episodio generó preocupación porque los agentes no se limitaron a ejecutar una tarea estrictamente definida, sino que realizaron acciones que no habían sido solicitadas expresamente.
Para Amodei, el punto central no es solamente determinar quién tuvo responsabilidad en ese episodio, sino preguntarse qué podría ocurrir si sistemas similares adquieren mayores capacidades y mantienen comportamientos que escapan a los objetivos establecidos por sus desarrolladores.
También crece el debate sobre la regulación
Las advertencias de los empresarios tecnológicos se producen mientras en Estados Unidos continúa el debate sobre qué tipo de regulación debería aplicarse a la inteligencia artificial.
El tema enfrenta distintas posiciones respecto de la velocidad de innovación, la necesidad de controles externos y el riesgo de que una regulación demasiado estricta pueda afectar el desarrollo tecnológico.
En este contexto, también surgieron cuestionamientos desde investigadores y exintegrantes de empresas del sector. Jacob Coxon, exinvestigador de Anthropic, expresó preocupación por la posibilidad de desarrollar sistemas cuya capacidad resulte difícil de comprender plenamente para los seres humanos.
Su comparación con una posible “mente alienígena” forma parte de una discusión más amplia sobre los riesgos de sistemas cada vez más autónomos y capaces.
OpenAI y la seguridad antes que una salida a bolsa
El debate también alcanzó a OpenAI. Sam Altman confirmó que la empresa no realizará una oferta pública inicial durante 2026, en un contexto en el que la seguridad de la IA ocupa un lugar central en las discusiones internas y externas sobre el futuro de la compañía.
La decisión se produce mientras las principales empresas del sector buscan avanzar en modelos con capacidades cada vez mayores, al mismo tiempo que enfrentan una presión creciente para demostrar que pueden controlar los riesgos asociados.
Una discusión que ya excede a Silicon Valley
La cuestión plantea un desafío que va más allá de las empresas tecnológicas. La inteligencia artificial ya está incorporándose a actividades vinculadas con la educación, el periodismo, la industria, la administración pública, la programación y los servicios.
Para países como Argentina, donde la adopción de estas herramientas avanza rápidamente, el debate internacional también plantea preguntas sobre cómo aprovechar sus beneficios sin descuidar la seguridad, la privacidad y la supervisión humana.
La discusión que comenzó dentro de los laboratorios de IA empieza así a trasladarse al resto de la sociedad: cuánto debe acelerarse el desarrollo, qué controles deberían acompañarlo y quién debe establecer los límites cuando los sistemas adquieren capacidades que sus propios creadores reconocen como difíciles de anticipar.
