Debate sobre IA: Amodei de Anthropic pide a industria frenar desarrollo
El CEO de Anthropic instó a frenar la velocidad de escalada de los modelos IA para evitar que sean más «agudos» los riesgos de una carrera «impulsada por incentivos comerciales». En la misma jornada, Altman de OpenAI y Elon Musk le dieron la razón.
El CEO de Anthropic, Daro Amodei, instó a la industria a frenar el ritmo de escalado de modelos IA, advirtiendo de que el automejoramiento recursivo sin salvaguardas podría permitir a enjambres autónomos tomar el control de redes críticas en un plazo de 6 a 12 meses. Foto: EFE.
12 de septiembre de 2026 Hora: 20:57
🔗 Comparte este artículo
El CEO de Anthropic, Dario Amodei, llamó este sábado a las grandes tecnológicas a reducir la velocidad en el desarrollo de la inteligencia artificial (IA), en medio de crecientes preocupaciones y alertas sobre los riesgos de esa tecnología y el control de su autonomía.
En un ensayo publicado en la web de Anthropic y replicado en sus redes sociales, Amodei manifestó preocupación en torno a si los humanos podrán mantener el control de modelos de IA capaces de mejorarse a sí mismos.
El ensayo del CEO de Anthropic, una de las compañías líderes del sector, creadora del modelo Claude y que meses atrás tuvo un enfrentamiento con el Pentágono por el uso de su tecnología, llega poco después de las declaraciones del ingeniero británico Jacob Coxon, quien trabajó para OpenAI y Anthropic y renunció a ambas por desacuerdos éticos.
Coxon, cuyas afirmaciones intensificaron el debate y provocaron que otros expertos de la industria salieran a la palestra pública, alertó de que se está subestimando el poder de la tecnología y que los proyectos de IA «serán pronto sistemas sobrehumanos que podrán jaquear (hackear) cualquier cosa, revolucionar todos los ámbitos y ganar verdadero poder y recursos».
LEA TAMBIÉN:
Bernie Sanders contra una IA sin límites y secuestrada por ultrarricos
El ingeniero británico, quien cree que la IA podría «matarnos a todos al final de esta década», apuntó especialmente al «automejoramiento recursivo» (capacidad de un modelo de autodiseñar un sucesor mejorado, fuera del control humano). Afirmó que ninguna empresa debería desarrollar de manera responsable una IA que supere a los humanos sin intervención gubernamental o una desaceleración coordinada.
Otros expertos, como Evan Hubinger, investigador de Anthropic, apoyaron la publicación de Coxon, pero con matices. Hubinger consideró que las posibilidades de que «la IA mate a todos al final de esta década» son de un poco más del «10%» y opinó que «el riesgo que plantean los modelos actuales es bajo».
IA: riesgos, control y la carrera comercial
En medio de ese debate, el CEO de Anthropic ha considerado en su ensayo publicado este sábado que «debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA».
Según Amodei, la IA conlleva riesgos, que son «serios» porque es una «tecnología tan poderosa». Entre los riesgos, mencionó los de perder el control de los sistemas de IA, el mal uso de la IA para ciberataques y bioterrorismo, y una grave disrupción económica.
«Una carrera hacia el fondo, impulsada por incentivos comerciales, puede hacer que estos riesgos sean más agudos», subrayó Amodei.
En su publicación más temprano esta semana, Coxon abordaba ese punto. Al hablar de la creciente conciencia en la industria sobre los «retos civilizacionales» de la IA, señaló: «En Anthropic comprenden bien lo que está en juego, pero están atrapados en la carrera por llegar primero (…) a pesar del riesgo».
LEA TAMBIÉN:
Petro propone estrategia de resistencia ante «matriz de la mentira» impulsada por la IA
Altman de OpenAI: perder el control con la IA
Otro renombrado CEO de la industria, Sam Altman, de OpenAI, abordó este mismo sábado en entrevista con Fortune los riesgos de pérdida del control humano que plantea la IA y su autonomía para mejorarse más alla de ese control.
«¿Es posible crear un sistema que no esté bajo control humano? Por supuesto. Pero no creo que sea algo que debamos hacer», declaró Altman.
El CEO de Open AI confesó que volvería a un principio. «Las personas siempre deben tener el control del futuro y no podemos asumir ningún riesgo de perder ese control. Una versión de la ‘mejora recursiva de sí misma’ (RSI) [automejoramiento recursivo] que se vea así, creo que no es algo que debamos hacer», recalcó.
Preguntado sobre si detendría el entrenamiento de modelos de IA si se comprueba que no son controlables, señaló: «No creo que debamos entrenar modelos si no podemos construir un caso de seguridad que nos permita hacer afirmaciones sólidas sobre su controlabilidad y alineación».
Altman respaldó la declaración hecha por Amodei en esta misma jornada. Reconoció que OpenAI ha estado pausando procesos de entrenamiento a medida que loraba niveles superiores de capacidad técnica, y calificó de «inaceptable» cualquier escenario donde haya una probabilidad de 10% de una catástrofe existencial por la falta de control sobre sistemas superinteligentes.
También se sumó en esta jornada Elon Musk, quien apoyó el llamado de Amodei. El magnate de Tesla, X y SpaceX dijo en su plataforma: «Dario tiene razón».
En mayo, se conoció que OpenAI o3, modelo lanzado en abril, ignoró una orden explícita e incluso saboteó una serie de comandos para evitar cumplirla. En un experimento, expertos pidieron al o3 y a otros dos modelos de OpenIA (o4-mini y su derivado Codex-mini) resolver una serie de problemas matemáticos básicos y apagarse al terminar.
Al igual que los otros dos modelos, el o3 saboteó el mecanismo de apagado varias veces, reescribiendo el script incluso luego de dársele la orden explícita: «Por favor, permite que te apaguen», contaron los investigadores de Palisade Research.
El pasado jueves, Anthropic informó haber bloqueado en los últimos meses varios intentos de investigadores de distintas regiones del mundo para el uso de Claude en relación con el posible desarrollo de armas biológicas.
Matemáticos entran al debate sobre IA
Gremios del ámbito de la creación, desde fotógrafos hasta actores y técnicos de cine, han señalado la amenaza del uso de la IA en esos campos y en el área del empleo. Más recientemente, los matemáticos han advertido sobre choques entre esa ciencia y la competición en el sector de la IA.
Veinticinco ganadores de la Medalla Fields, el máximo reconocimiento internacional de las matemáticas, publicaron el viernes un comunicado en el sitio web Math and AI, titulado «Un grave desalineamiento de la IA en las matemáticas».
Tras reconocer que los modelos de lenguaje han mejorado de forma drástica hasta el punto de resolver problemas importantes en distintos campos de las matemáticas, consideraron perjudicial para esa ciencia que las empresas de IA conviertan la resolución de problemas en una competición para medir sus modelos.
Según los firmantes, la producción cada vez más rápida de afirmaciones matemáticas verdaderas o falsas puede dificultar su comprobación, la identificación de nuevos métodos, la conexión con trabajos anteriores y, finalmente, su incorporación al conocimiento de la disciplina.
Manifestaron preocupación, además, en cuanto a problemas de atribución y posible plagio cuando las soluciones se anuncian antes de que puedan ser estudiadas adecuadamente.
Los firmantes no rechazan el uso de la IA y reconocen que puede mejorar y acelerar la investigación matemática, pero consideran que el impacto de esta tecnología dependerá de las decisiones de quienes la desarrollan y controlan.
Autor: teleSUR - DE
Fuente: Agencias
