Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

Insuﬁciencia estructural del control

humano signiﬁcativo en armas autónomas:

fundamentos para una reorientación

normativa post-antropocéntrica

Structural Insufﬁciency of Meaningful Human Control

in Autonomous Weapons: Foundations for a Post-

Anthropocentric Normative Reorientation

Insuﬁciência estrutural do controle humano signiﬁcativo

em armas autônomas: fundamentos para uma

reorientação normativa pós-antropocêntrica

1

Fernando A. Ramos-Zaga

DOI: 10.5752/P.2317-773X.2025v13.n2.p149

Enviado em: 22 de setembro de 2025

Aceito em: 03 de março de 2026

RESUMEN

El avance acelerado de los Sistemas de Armas Letales Autónomas (LAWS)

ha generado una transformación radical en las lógicas del conﬂicto armado,

planteando desafíos ético-normativos que cuestionan la continuidad de la

agencia humana en decisiones letales automatizadas. Frente a este escenario, el

presente estudio examina críticamente la noción de Control Humano Signiﬁ-

cativo (MHC) como dispositivo normativo central en la regulación de LAWS,

con el objetivo de construir un marco ﬁlosóﬁco que fundamente éticamente su

exigencia, explore su viabilidad en entornos militares avanzados y proponga una

reconceptualización que articule agencia, dignidad y responsabilidad. Los halla-

zgos evidencian que el MHC, en su formulación actual, presenta limitaciones

estructurales derivadas de la opacidad de los sistemas algorítmicos, la imprevisi-

bilidad conductual y la dilución de la responsabilidad moral, lo cual imposibilita

su función como garante ético en la guerra automatizada. En conclusión, se

plantea un giro normativo que interpela la arquitectura jurídica y técnica exis-

tente, exigiendo la adopción de marcos regulatorios internacionales capaces de

salvaguardar principios morales fundamentales en un contexto marcado por la

creciente mediación algorítmica de la violencia.

Palabras clave: Sistemas de armas letales autónomas, control humano signiﬁ-

cativo, brecha de responsabilidad, guerra algorítmica, ética militar, inteligencia

artiﬁcial.

1. Abogado. Docente investigador a tempo completo. Universidad Privada del Norte, Lima, Perú. https://orcid.

org/0000-0001-6301-9460. fernandozaga@gmail.com

149

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

ABSTRACT

The rapid advancement of Lethal Autonomous Weapon Systems (LAWS) has

fundamentally altered the dynamics of armed conﬂict, raising profound ethical

and normative challenges that call into question the continuity of human agen-

cy in automated lethal decision-making. In response to this scenario, the present

study critically examines the notion of Meaningful Human Control (MHC) as

a central normative device in the regulation of LAWS. The objective is to cons-

truct a philosophical framework that ethically grounds the demand for MHC,

assesses its operational viability in advanced military environments, and pro-

poses a reconceptualization that integrates agency, dignity, and moral respon-

sibility. The ﬁndings reveal that MHC, in its current formulation, suﬀers from

structural limitations rooted in algorithmic opacity, behavioral unpredictability,

and the fragmentation of moral responsibility, which collectively undermine

its role as an ethical safeguard in autonomous warfare. The study concludes by

proposing a normative shift that challenges existing legal and technical archi-

tectures, advocating for the establishment of binding international regulatory

frameworks capable of upholding fundamental moral principles in a context

increasingly shaped by the algorithmic mediation of violence.

Keywords: Lethal autonomous weapon systems, meaningful human control,

responsibility gap, algorithmic warfare, military ethics, artiﬁcial intelligence.

RESUMO

O avanço acelerado dos Sistemas de Armas Letais Autônomas (LAWS) tem

provocado uma transformação radical nas lógicas do conﬂito armado, susci-

tando desaﬁos ético-normativos que questionam a continuidade da agência

humana em decisões letais automatizadas. Diante desse cenário, o presente

estudo examina criticamente a noção de Controle Humano Signiﬁcativo (MHC)

como dispositivo normativo central na regulação dos LAWS, com o objetivo de

construir um marco ﬁlosóﬁco que fundamente eticamente sua exigência, explo-

re sua viabilidade em contextos militares avançados e proponha uma recon-

ceitualização que articule agência, dignidade e responsabilidade. Os resultados

evidenciam que o MHC, em sua formulação atual, apresenta limitações estru-

turais decorrentes da opacidade dos sistemas algorítmicos, da imprevisibilidade

comportamental e da diluição da responsabilidade moral, o que inviabiliza sua

função como garantidor ético na guerra automatizada. Conclui-se, portanto,

que é necessário um giro normativo que interpele a arquitetura jurídica e téc-

nica existente, exigindo a adoção de marcos regulatórios internacionais capazes

de salvaguardar princípios morais fundamentais em um contexto marcado pela

crescente mediação algorítmica da violência.

Palavras-chave: Sistemas de armas letais autônomas, controle humano signiﬁ-

cativo, lacuna de responsabilidade, guerra algorítmica, ética militar, inteligência

artiﬁcial.

1 INTRODUCCIÓN

En los últimos años, el desarrollo exponencial de tecnologías apli-

cadas a la defensa ha reconﬁgurado los parámetros tradicionales de la

guerra, inaugurando una nueva era marcada por la creciente autonomi-

zación de los sistemas armamentísticos. La reciente inversión de 600 mil-

lones de euros liderada por Daniel Ek, fundador de Spotify, en la empresa

Helsing, especializada en sistemas de guerra basados en inteligencia ar-

tiﬁcial (Browne, 2025), ilustra de forma paradigmática la militarización

150

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

de la inteligencia artiﬁcial, impulsada tanto por actores estatales como

por consorcios tecnológicos privados. El viraje hacia una guerra tecnoló-

gicamente mediada plantea preguntas urgentes sobre la legitimidad del

uso autónomo de la fuerza y sobre los límites éticos de la delegación de

decisiones letales a entidades no humanas, particularmente en un esce-

nario donde los marcos jurídicos tradicionales y las estructuras morales

heredadas resultan insuﬁcientes para aprehender la complejidad del fenó-

meno emergente.

La aparición de los Sistemas de Armas Letales Autónomos (LAWS,

por sus siglas en inglés) ha catalizado un debate cuyo eje central gira en

torno a la noción de Control Humano Signiﬁcativo (MHC), introducida

en 2013 como respuesta normativa ante la opacidad decisional de los sis-

temas autónomos (Horowitz, 2016). No obstante, múltiples estudios han

advertido sobre la ambigüedad conceptual del MHC y su limitada aplica-

bilidad en contextos operacionales reales, marcados por la alta velocidad,

la complejidad ambiental y la impredecibilidad algorítmica (Santoni De

Sio; Van Den Hoven, 2018). A ello se suma el desafío ontológico plantea-

do por la autonomía algorítmica, cuya lógica causal-determinista entra

en tensión con la estructura intencional y relacional que deﬁne la acción

moral humana (Matthias, 2004).

La persistencia de una brecha epistemológica y normativa entre las

capacidades técnicas de los LAWS y las exigencias morales del ius in bello

pone de maniﬁesto una zona crítica de indeterminación conceptual. La

actual arquitectura del MHC, centrada en fases operacionales especíﬁ-

cas, desconoce el carácter distribuido y sistémico de la responsabilidad en

entornos de guerra algorítmica (Taddeo; Floridi, 2018). En tal sentido, la

idea de una “certiﬁcación humana signiﬁcativa” ha sido propuesta como

alternativa que podría preservar la autoría moral sin sacriﬁcar la eﬁcien-

cia técnica (Winﬁeld; Jirotka, 2018). Sin embargo, dicha reconceptualiza-

ción plantea interrogantes profundos acerca de la trazabilidad de la inten-

ción humana en redes decisionales algorítmicas evolutivas y distribuidas,

lo cual exige una revisión crítica de las nociones tradicionales de control,

causalidad y responsabilidad.

El presente análisis se justiﬁca por la urgencia de construir un mar-

co ﬁlosóﬁco-normativo que permita evaluar, fundamentar y, eventual-

mente, redeﬁnir el concepto de MHC en un contexto donde las decisiones

sobre la vida y la muerte ya no dependen exclusivamente de agentes hu-

manos identiﬁcables. Lejos de constituir una discusión académica aisla-

da, esta problemática tiene implicaciones directas sobre la legitimidad del

uso de la fuerza, la arquitectura normativa del derecho internacional y,

en última instancia, sobre los fundamentos éticos que sostienen la convi-

vencia global. En un momento histórico caracterizado por la aceleración

tecnológica y la erosión de las formas tradicionales de soberanía, la ausen-

cia de un paradigma coherente que preserve la agencia humana ante el

avance de la autonomía algorítmica representa una amenaza a los princi-

pios fundacionales del orden jurídico-moral contemporáneo.

Las implicaciones prácticas de esta investigación son múltiples. En

primer lugar, el desarrollo de un marco normativo robusto en torno al

MHC puede ofrecer orientaciones concretas para legisladores, diseñadores

151

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

de sistemas de defensa y organismos internacionales encargados de la re-

gulación de armamento. En segundo lugar, puede contribuir a delimitar

los márgenes éticamente aceptables de la innovación tecnológica en con-

textos de seguridad, evitando que los imperativos de eﬁciencia desplacen

completamente los criterios de legitimidad moral. Finalmente, una redeﬁ-

nición del MHC podría servir como fundamento para sistemas de certiﬁ-

cación internacional que articulen principios éticos, criterios operacionales

y requisitos legales en torno al uso de tecnologías autónomas en la guerra.

La relevancia de esta reﬂexión se acentúa aún más cuando se la vin-

cula con los desafíos contemporáneos que atraviesan tanto el campo de

la gobernanza tecnológica como el del orden internacional. El creciente

protagonismo de empresas privadas en la producción de armamento inte-

ligente, la presión geopolítica por alcanzar la supremacía algorítmica y la

normalización social del uso de drones autónomos en conﬂictos armados

conﬁguran un panorama en el cual las decisiones normativas actuales

tendrán efectos estructurales en las décadas venideras. En este sentido, la

discusión sobre el MHC no puede desligarse de las tensiones más amplias

que afectan a las democracias liberales, a la arquitectura institucional del

derecho internacional y a las formas emergentes de subjetividad en la era

de la inteligencia artiﬁcial.

En ese sentido, el objetivo del presente artículo es analizar crítica-

mente la noción de Control Humano Signiﬁcativo en sistemas armamen-

tísticos autónomos, con el ﬁn de desarrollar un marco normativo-ﬁlosóﬁ-

co que permita fundamentar éticamente su exigencia, evaluar su viabili-

dad operativa en contextos militares tecnológicamente avanzados y pro-

poner una reconceptualización sistemática que articule agencia, dignidad

humana y responsabilidad moral en el entorno de la guerra algorítmica.

Se espera que los resultados de este trabajo contribuyan a esclarecer los

fundamentos éticos que deben orientar el desarrollo y despliegue de los

LAWS, ofreciendo herramientas conceptuales y normativas que permi-

tan preservar la centralidad de la agencia moral humana en un mundo

progresivamente automatizado.

2 GENEALOGÍA DE LA AUTOMATIZACIÓN DE LA VIOLENCIA

La trayectoria histórica y conceptual de las armas automatizadas

permite apreciar cómo la tecnología ha modiﬁcado progresivamente la

estructura de la guerra. Durante la Guerra Fría, con el desarrollo de mi-

siles antibalísticos guiados por radar, se consolidó un interés por delegar

funciones críticas en las máquinas, aunque sin desplazar la centralidad

del juicio humano. En tal contexto, la lógica de disuasión nuclear descan-

saba en la capacidad decisional de líderes políticos y militares, quienes

conservaban el control último sobre la acción letal (Freedman, 1989). Ello

evidenciaba un perfeccionamiento del apoyo técnico orientado a la eﬁ-

ciencia, más que una auténtica autonomía decisional.

Con la irrupción de la ciberguerra en los años noventa se produjo

un giro signiﬁcativo, ya que el escenario de confrontación se trasladó al

espacio informacional. En este ámbito, los ataques contra infraestructu-

ras digitales funcionaban primordialmente como formas de sabotaje y

152

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

no como guerra en sentido estricto, debido a su limitada capacidad de

destrucción masiva (Arquilla; Ronfeldt, 1993; Libicki, 1995; Rid, 2013). De

ese modo, se reforzaba la premisa de que el factor humano seguía siendo

insustituible, pues la decisión sobre el momento, el lugar y la intensidad

de la intervención permanecía en manos de actores políticos y militares.

Posteriormente, la evolución tecnológica introdujo un cambio

cualitativo de mayor envergadura. El tránsito desde sistemas de apoyo

hacia sistemas autónomos modiﬁcó sustancialmente la concepción de

agencia en el campo bélico. Mientras la automatización remitía a la eje-

cución mecánica de instrucciones, la autonomía abrió la posibilidad de

que la máquina actuara y decidiera sin supervisión directa (Scharre, 2018;

Singer, 2009). La incorporación de inteligencia artiﬁcial y sensores avan-

zados intensiﬁcó esa transformación, acelerando el ritmo del combate a

velocidades que superaban las capacidades cognitivas humanas (M. L.

Cummings, 2021). Como consecuencia, surgió la noción de irresponsa-

bilidad estructural, ya que cuando las máquinas operan con mínima in-

tervención humana, la atribución de responsabilidad se vuelve difusa o

incluso impracticable (Sparrow, 2007).

En la actualidad, los conﬂictos armados han convertido el debate

en experiencia tangible. La guerra en Ucrania se ha conﬁgurado como un

laboratorio de experimentación con drones kamikaze y sistemas híbridos

que combinan innovación comercial y despliegue militar, lo que reﬂeja

la convergencia entre ambas esferas (Kunertova, 2023). De manera simi-

lar, en Gaza, los sistemas de selección automatizada de objetivos como

“Lavender” han generado cuestionamientos éticos y jurídicos, debido a

la diﬁcultad de distinguir de forma conﬁable entre combatientes y civi-

les, con posibles vulneraciones al Derecho Internacional Humanitario

(Gusterson, 2024). A su vez, en Yemen, la continuidad de ataques con dro-

nes de bajo costo ha conﬁgurado un patrón de guerra dronizada, aunque

con eﬁcacia relativa que atenúa la idea de autonomía plena en el terreno

(Boyle, 2013; Kallenborn; Bleek, 2018).

Desde un punto de vista analítico, resulta clave examinar los dis-

tintos grados de intervención humana. El modelo human-in-the-loop ase-

gura que el operador conserve el control directo sobre cada decisión le-

tal, con lo cual mantiene una trazabilidad ética básica (Horowitz, 2016).

A su vez, el modelo human-on-the-loop permite la actuación automática

bajo supervisión diferida, lo que abre un espacio controvertido en ma-

teria de responsabilidad (Scharre, 2018). En el extremo, el modelo hu-

man-out-of-the-loop delega en la máquina la totalidad del ciclo decisional

y elimina cualquier posibilidad de control humano signiﬁcativo (Asaro,

2012). De ese modo, se conﬁgura un continuo que va desde la supervi-

sión plena hasta la autonomía absoluta, con consecuencias jurídicas y

éticas de gran alcance.

El panorama descrito evidencia una mutación estructural de la

guerra. La agencia bélica ya no se deﬁne exclusivamente en términos hu-

manos, sino como producto de ensamblajes socio-técnicos que redistribu-

yen la capacidad de decidir y ejecutar acciones (Bode et al., 2024). Surge

entonces un desfase entre la práctica militar y los marcos normativos,

concebidos en un contexto donde el combatiente humano ocupaba un

153

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

lugar indiscutible. Tal desfase abre espacios de impunidad y erosiona la

legitimidad del Derecho Internacional Humanitario (Winter, 2022).

Con todo, la discusión incorpora también una dimensión menos

pesimista. Se ha planteado que la autonomía algorítmica podría, en con-

diciones especíﬁcas, contribuir a reducir violaciones al derecho de la

guerra, dado que las máquinas carecen de emociones y sesgos que con

frecuencia inducen a los combatientes humanos a excesos en el uso de

la fuerza (Arkin, 2009). Se conﬁgura así una tensión entre quienes con-

ciben la autonomía como un riesgo ontológico y normativo y quienes la

valoran como una herramienta correctiva frente a la falibilidad humana.

Reconocer tal tensión obliga a asumir la complejidad del fenómeno y a

resistir la tentación de respuestas absolutas, puesto que el vínculo entre

tecnología, ética y guerra exige un análisis abierto, crítico y matizado.

En ese marco, el concepto de “control humano signiﬁcativo” (MHC,

por sus siglas en inglés) se ha propuesto como una tentativa de reintro-

ducir la agencia moral en contextos automatizados. La sección siguiente

examinará su génesis conceptual, su potencial normativo y sus limitacio-

nes estructurales, con el ﬁn de valorar si puede consolidarse como princi-

pio operativo eﬁcaz o si, por el contrario, se trata de una ﬁcción regulativa

que encubre la inercia de una automatización ya desbordada. Lo que está

en juego no se limita a la regulación de una nueva tecnología, sino a la

posibilidad de preservar una ética de la guerra en un mundo donde la de-

cisión de matar podría ejecutarse sin que nadie, realmente, decida.

3 EL CONTROL HUMANO SIGNIFICATIVO COMO RESPUESTA

NORMATIVA INSUFICIENTE

Desde su irrupción en el debate internacional sobre los sistemas

de armas autónomos letales, el concepto de control humano signiﬁcativo

(MHC, por sus siglas en inglés) se ha consolidado como un artefacto nor-

mativo de notable plasticidad discursiva. Su emergencia puede interpre-

tarse como una tentativa colectiva de reinstalar la ﬁgura humana en un

escenario tecnológico que, de manera progresiva, desplaza su agencia

decisional y su capacidad deliberativa. A lo largo de su desarrollo concep-

tual, se advierte una tensión persistente entre la voluntad de mantener el

juicio humano como eje ético de la acción bélica y las limitaciones estruc-

turales, epistémicas y morales que impone la creciente soﬁsticación de los

sistemas algorítmicos.

Es necesario señalar que la primera formulación sustantiva del

MHC se articuló en el seno de la organización Article 36 durante las dis-

cusiones de la Convención sobre Ciertas Armas Convencionales en 2013.

En aquel contexto, se trataba de una propuesta concebida no solo como

mecanismo regulador, sino también como una respuesta ética frente a

la amenaza de deshumanización del uso de la fuerza (Klonowska, 2022).

Desde esa perspectiva inicial, el MHC buscaba establecer un umbral mí-

nimo de intervención humana que preservara la legitimidad moral y ju-

rídica de la decisión letal. En consecuencia, más que un cuerpo doctrinal

coherente, se ofrecía un principio guía suﬁcientemente abierto para pro-

piciar un consenso básico entre actores con posiciones divergentes.

154

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

Posteriormente, la consolidación del MHC en la agenda internacio-

nal respondió a la acción concertada de organizaciones de la sociedad ci-

vil y coaliciones transnacionales. De hecho, iniciativas como la Campaign

to Stop Killer Robots y Human Rights Watch ejercieron presión en foros mul-

tilaterales con el objetivo de impulsar la adopción de un estándar nor-

mativo vinculante que garantizara un umbral mínimo de intervención

humana en el uso de la fuerza (Roﬀ, 2014; Solovyeva; Hynek, 2023). Sin

embargo, la postura de potencias con alta inversión en sistemas autóno-

mos, como Estados Unidos, Rusia e Israel, apuntó hacia aproximaciones

más ﬂexibles, alineadas con la noción de “juicio humano apropiado” y

con énfasis en la interoperabilidad técnica y la eﬁcacia táctica (Boulanin;

Verbruggen, 2017; Department of Defense, 2012). Tal divergencia crista-

lizó en la Convención sobre Ciertas Armas Convencionales, donde los

intentos de avanzar hacia un tratado vinculante enfrentaron la resistencia

de Estados reticentes a limitar su superioridad estratégica (Payne, 2021).

En ese orden de hechos, la emergencia de posturas intermedias com-

plejizó aún más el panorama. La Unión Europea y algunos de sus Estados

miembros, entre ellos Alemania y Países Bajos, reconocieron la necesidad

de preservar la agencia humana, pero preﬁrieron impulsar mecanismos

de carácter político antes que jurídicamente obligatorios (Ekelhof, 2019).

Como resultado, los puntos de fricción giraron en torno a la naturaleza

vinculante del MHC, a la deﬁnición operativa del umbral de intervención

humana y a la tensión entre criterios ético-jurídicos y exigencias de viabi-

lidad militar. El MHC se conﬁguró así como un campo de competencia

discursiva en el que conﬂuyen racionalidades heterogéneas, tanto éticas

como jurídicas y geopolíticas (Santoni De Sio; Van Den Hoven, 2018).

Ahora bien, la vaguedad inicial que facilitó la aceptación política

del MHC se ha transformado con el tiempo en un obstáculo epistemoló-

gico y normativo. La ambigüedad de su formulación permitió su captura

por marcos estratégicos disímiles, diluyendo así su potencial regulador

(Jani atová; Mlejnková, 2021). El contraste con el enfoque estadouniden-

se, centrado en la noción de “niveles apropiados de juicio humano”, resul-

ta ilustrativo. Mientras que el MHC aspira a preservar la agencia ética y

la responsabilidad humana, la postura del Departamento de Defensa de

Estados Unidos privilegia la interoperabilidad técnica y la eﬁcacia tácti-

ca, relegando la cuestión moral a un plano secundario (Department of

Defense, 2012). De ello se desprende una fractura profunda entre los im-

perativos éticos de control y las exigencias operativas de eﬁciencia militar.

En paralelo, a medida que el MHC adquirió mayor visibilidad en

foros internacionales, se le atribuyeron funciones progresivamente más

ambiciosas. Así, de mero instrumento de supervisión pasó a convertirse

en símbolo de resistencia ética frente a la automatización del juicio, lle-

gando incluso a proyectársele la capacidad de garantizar el cumplimiento

del derecho internacional humanitario y de prevenir la fragmentación

de la responsabilidad en contextos tecnológicamente mediados (Santoni

De Sio; Van Den Hoven, 2018). Sin embargo, esta sobrecarga funcional

condujo a un fenómeno de inﬂación normativa, donde las expectativas

asignadas superaron con creces su factibilidad operativa, generando una

disonancia entre aspiraciones éticas y limitaciones técnicas.

155

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

En el plano estructural, el MHC se sostiene en tres pilares funda-

mentales: información, acción y responsabilidad. No obstante, un análisis

riguroso de cada dimensión revela inconsistencias signiﬁcativas. En lo

que respecta al principio de información, la hipótesis de que el agente hu-

mano puede procesar datos relevantes en tiempo real resulta insostenible.

Se ha demostrado que la capacidad cognitiva humana se ve rápidamente

desbordada en entornos de elevada complejidad, lo que reduce al opera-

dor a un rol simbólico (M. M. Cummings, 2014). Además, disponer de

información no equivale a comprenderla en términos semánticos, pues

solo una inteligibilidad contextualizada permite fundamentar decisiones

normativas (Floridi, 2011).

En cuanto al principio de acción, los marcos tradicionales han ten-

dido a reducir la agencia humana a una intervención puntual sobre el

sistema. Sin embargo, tal visión ignora las condiciones estructurales que

determinan la posibilidad misma de actuar. En esa dirección, se ha plan-

teado que la agencia incluye no solo la decisión inmediata, sino también

los procesos de diseño anticipado y las restricciones ex ante que conﬁgu-

ran el marco de acción (Taddeo; Floridi, 2018).

El principio de responsabilidad constituye, con todo, el pilar más

problemático. La dispersión de atribuciones a lo largo del ciclo de vida

del sistema genera lo que se ha denominado el problema de las “muchas

manos” (Matthias, 2004). La diﬁcultad de imputar responsabilidad com-

promete tanto la justicia retributiva como la conﬁanza en los marcos éti-

cos y legales vigentes. Surge así la pregunta sobre quién debe responder:

el diseñador del algoritmo, el aprobador político o el operador en campo.

En consecuencia, los modelos clásicos de interacción hombre-má-

quina muestran limitaciones análogas. El modelo human-in-the-loop, que

exige la autorización humana antes de ejecutar una acción, se ha reve-

lado ineﬁcaz, ya que la presión situacional y la familiaridad con el sis-

tema conducen a un automatismo de la conﬁanza (Skitka et al., 1999).

De manera similar, el modelo human-on-the-loop otorga al operador un

papel de supervisión diferida, pero la vigilancia sin capacidad efectiva de

intervención equivale a una responsabilidad ilusoria (Denning, 2011). En

el extremo, el modelo human-out-of-the-loop representa la consagración de

la alienación moral, al romper la cadena que conecta juicio humano y ac-

ción operativa (Sparrow, 2007). Incluso se ha sostenido que la autonomía

técnica no constituye una opción ideológica, sino una imposición funcio-

nal derivada de la velocidad de los sistemas (Scharre, 2018).

Todo ello permite constatar la paradoja estructural que atraviesa al

MHC: a mayor autonomía técnica, menor margen para la responsabilidad

moral. En tal sentido, se ha planteado que el MHC funciona menos como

una solución normativa que como un dispositivo discursivo destinado a

reconciliar lo irreconciliable, es decir, la eﬁciencia algorítmica con la deli-

beración ética (Danaher, 2016; Matthias, 2004).

En deﬁnitiva, el análisis del MHC no puede reducirse a cuestiones

técnicas de implementación, sino que exige una reﬂexión crítica sobre

las mutaciones normativas que introduce la automatización en el ámbito

de la agencia moral. A medida que los sistemas autónomos reducen la

posibilidad de intervención signiﬁcativa, también se erosiona la relación

156

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

normativa entre intención, acción y responsabilidad. La discusión se

orienta, por tanto, hacia la exploración de la brecha de responsabilidad,

en la cual la opacidad algorítmica, la pérdida de atribución causal y la di-

solución del vínculo ético con el Otro conﬁguran un impasse normativo

que interpela los fundamentos antropocéntricos del derecho y de la ética

contemporánea.

4 LA BRECHA DE RESPONSABILIDAD COMO IMPASSE ONTOLÓGICO

La creciente incorporación de sistemas autónomos en contextos

bélicos plantea interrogantes éticos y ontológicos que desbordan las es-

tructuras normativas existentes. En particular, la opacidad y el carácter

emergente de los comportamientos algorítmicos marcan un punto de in-

ﬂexión en la manera de entender la acción, la responsabilidad y el vínculo

moral con el otro. La opacidad algorítmica no remite únicamente a una

cuestión técnica, sino que conlleva implicaciones ﬁlosóﬁcas profundas re-

lacionadas con la posibilidad misma de comprender y atribuir agencia a

sistemas no humanos.

Al respecto, cabe señalar que la arquitectura de las redes neurona-

les profundas, en tanto estructuras no lineales y no simbólicas, impide

rastrear causalmente los procesos internos que conducen a una decisión

especíﬁca. En esa dirección, se ha destacado que la opacidad epistémi-

2

ca excede la comprensión humana incluso de los propios diseñadores, lo

cual supone una ruptura con los supuestos clásicos de transparencia ope-

rativa sobre los que se apoyan la responsabilidad jurídica y la atribución

ética (Greif, 2022).

Asimismo, la imposibilidad de establecer una secuencia causal legi-

ble entre insumos y resultados constituye un obstáculo insalvable para el

tipo de racionalidad que históricamente ha orientado la atribución moral.

De acuerdo con la argumentación contemporánea, cuando se pierde la

capacidad de reconstruir nexos causales no se enfrenta únicamente una

limitación de la interfaz humano-máquina, sino una crisis del modelo

mismo de acción deliberativa (Shea, 2023). En el caso de los sistemas de

armas letales autónomas, esta falta de trazabilidad implica la desaparición

de un agente en sentido fuerte, es decir, de un sujeto que decida en cono-

cimiento de causa. La consecuencia directa es la erosión del fundamento

normativo de la rendición de cuentas.

Ahora bien, el problema no se reduce a la opacidad epistémica. Existe

también un nivel de ininteligibilidad estructural que agrava el desfase en-

tre sistemas técnicos y comprensión humana. Se ha sostenido que este fe-

nómeno no alude únicamente a la falta de acceso técnico, sino a la ausen-

cia de coherencia semántica que imposibilita al operador humano atribuir

sentido a las decisiones algorítmicas (Zednik, 2021). En otros términos, el

obstáculo no radica solo en no conocer cómo funciona el sistema, sino en

la incapacidad de interpretar sus acciones en términos signiﬁcativos para

2. El término hace referencia a la imposibilidad de comprender de manera exhaustiva los procesos mediante

los cuales un sistema algorítmico complejo genera resultados decisionales, lo que compromete la trazabilidad

requerida para la atribución de responsabilidad ética y jurídica.

157

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

la experiencia humana. Esa brecha semántica afecta directamente la capa-

cidad de anticipación y de justiﬁcación de los operadores.

El desfase se acentúa aún más en presencia de comportamientos

emergentes. Los sistemas adaptativos, al integrar retroalimentación con-

tinua y aprendizaje autónomo, generan respuestas inéditas que no remi-

ten a ninguna intención humana explícita. En tal dinámica, el origen de

la acción se traslada desde el sujeto humano hacia la lógica interna del sis-

tema técnico. En consecuencia, se diluye el nexo entre decisión, intención

y sujeto, es decir, se pierde el punto de anclaje que sostiene los marcos

normativos basados en la imputabilidad individual. Lo que emerge es una

agencia distribuida, no reducible a una entidad unitaria, lo que plantea

desafíos conceptuales para una ética aún anclada en el sujeto racional.

En ese escenario, adquiere plena relevancia la noción de “brecha

de responsabilidad”, formulada como una desconexión estructural entre

el agente y la acción. La imposibilidad de imputar responsabilidad moral

no se explica por una falla accidental, sino por la delegación de decisiones

con implicancias letales a sistemas autónomos que operan sin supervisión

continua ni previsibilidad suﬁciente (Matthias, 2004). Frente a tal panora-

ma, resulta inviable pensar en soluciones jurídicas o administrativas que

simplemente redistribuyan la culpa. Se ha argumentado que la fractura

entre delegación técnica y agencia moral constituye una aporía insoluble,

en la que toda tentativa de atribuir responsabilidad queda frustrada por la

ausencia de un agente deliberativo identiﬁcable (Danaher, 2016).

A partir de lo anterior, se hace evidente que el paradigma antropo-

céntrico de imputabilidad entra en crisis. El modelo clásico de responsa-

bilidad, basado en intención individual, previsibilidad y control, resulta

incompatible con sistemas algorítmicos cuyas decisiones no emergen de

una subjetividad consciente ni de una secuencia causal gobernable. De

hecho, se ha mostrado que dichos sistemas eluden los requisitos míni-

mos para la aplicación del modelo kantiano de sujeto moral (List, 2021).

De ello se desprende la urgencia de un giro conceptual. Así, se ha sos-

tenido la necesidad de abandonar una ética centrada en el individuo ra-

cional y adoptar un enfoque postantropocéntrico, capaz de concebir la

agencia como cualidad emergente de estructuras sociotécnicas complejas

(Coeckelbergh, 2020). En un marco semejante, la responsabilidad no pue-

de atribuirse a un agente singular, sino que debe entenderse como una

propiedad relacional distribuida entre distintos niveles de intervención

humana y técnica.

La crisis de imputabilidad se hace especialmente visible en el pla-

no del encuentro ético con el otro. Desde la ﬁlosofía de Lévinas, se ha

insistido en que el rostro del Otro constituye la interpelación ética por

excelencia, una presencia que exige respuesta moral (Lévinas, 1969). Sin

embargo, la mediación algorítmica elimina ese encuentro: la víctima de

una decisión automatizada ya no aparece como un rostro humano, sino

como un objeto codiﬁcado, una probabilidad estadística o una ﬁrma tér-

mica. El resultado es un proceso de objetivación que reduce la alteridad a

una variable operativa y anula la posibilidad de respuesta ética.

Del mismo modo, la reducción de la alteridad afecta también al

agente. Tal como se ha advertido, la acción política se constituye en un

158

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

espacio compartido de pluralidad, donde los seres humanos interactúan

como agentes libres (Arendt, 2018). La guerra algorítmica destruye ese

espacio, sustituyendo la acción deliberativa por cálculo instrumental. El

operador ya no actúa, sino que ejecuta protocolos; ya no delibera, sino

que calibra parámetros. En ese tránsito, el sujeto desaparece como agente

ético, subsumido en una lógica que privilegia la eﬁciencia por sobre la

deliberación.

Este fenómeno ha sido descrito como el triunfo de la racionalidad

instrumental, es decir, una forma de acción guiada exclusivamente por

la optimización de medios (Habermas, 1984). En la distinción entre “sis-

tema” y “mundo de la vida”, el primero coloniza al segundo e impone su

lógica sobre ámbitos previamente sustentados en la generación de senti-

do intersubjetivo. Las armas autónomas operan dentro de ese dominio

sistémico, colonizando el espacio militar y conﬁgurando un paradigma

donde la compasión, el juicio y la responsabilidad quedan subordinados a

la eﬁciencia algorítmica.

La consecuencia es una forma radical de alienación. Los agentes

humanos se ven desplazados por procesos técnicos que no comprenden

ni controlan, de modo que en lugar de ejercer juicio moral simplemente

ajustan parámetros y cumplen funciones. Esa dinámica reﬂeja la consu-

mación de una tendencia más amplia: la instrumentalización de lo hu-

mano por la técnica. En tal contexto, la ética tradicional no solo resulta

insuﬁciente, sino conceptualmente desfasada.

De lo anterior se desprende que la brecha de responsabilidad no

puede cerrarse mediante reformas jurídicas ni con mejoras en la supervi-

sión técnica. Se trata, más bien, de una aporía estructural que exige una

revisión profunda de los marcos normativos y ontológicos con los que

se ha concebido la responsabilidad. En este horizonte, el siguiente paso

requiere una reconceptualización ﬁlosóﬁca del control, orientada hacia

formas anticipatorias de certiﬁcación, rediseños éticos de los sistemas y

esquemas robustos de atribución distribuida. Solo una transformación in-

tegral permitirá recuperar un horizonte de legitimidad moral en escena-

rios donde la decisión humana ha sido desplazada por la automatización

técnica.

5 RECONCEPTUALIZACIÓN NORMATIVO-FILOSÓFICA DEL CONTROL

La consolidación de una ética de la certiﬁcación signiﬁcativa en el

contexto de los sistemas autónomos letales constituye uno de los desafíos

más urgentes y complejos para la ﬁlosofía moral contemporánea, en par-

ticular para la bioética en su vertiente tecnopolítica. En lugar de limitarse

a marcos normativos centrados en la intervención reactiva o situacional,

resulta imprescindible avanzar hacia una transformación estructural que

reformule la supervisión ética de los sistemas automatizados, desplazan-

do el eje desde el control humano inmediato hacia una responsabilidad

anticipada, distribuida e integrada de manera sistémica. Desde una pers-

pectiva crítica, la reevaluación de nociones como agencia, dignidad y res-

ponsabilidad no puede restringirse al plano conceptual, sino que debe

proyectarse en su aplicabilidad institucional y tecnológica.

159

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

El paradigma dominante del control humano signiﬁcativo, sustenta-

do en fórmulas como human-in-the-loop o human-on-the-loop, ha presumido

durante años que la proximidad temporal entre el ser humano y la acción

letal garantiza la supervisión moral. Sin embargo, dicha presunción se de-

muestra insuﬁciente cuando se somete a un análisis técnico y normativo ri-

guroso. La aceleración propia de los entornos algorítmicos reduce drástica-

mente los márgenes de intervención, imposibilitando la toma de decisiones

reﬂexiva en tiempo real. De acuerdo con la evidencia empírica, limitaciones

como la latencia perceptual, la sobrecarga cognitiva y la no linealidad del

comportamiento sistémico restringen la efectividad de la supervisión (M.

M. Cummings, 2014). A ello se añade el sesgo de automatización, según el

cual los operadores tienden a aceptar de manera acrítica las recomendacio-

nes de los sistemas, incluso cuando contradicen la información disponible

(Skitka et al., 1999). Por tanto, vincular la agencia moral únicamente con la

inmediatez temporal no solo resulta falaz desde un punto de vista ﬁlosóﬁ-

co, sino también impracticable en términos operativos.

Frente a tales limitaciones, la certiﬁcación signiﬁcativa se conﬁgu-

ra como una alternativa epistemológica y normativamente más sólida.

El objetivo no consiste en eliminar la supervisión humana, sino en re-

distribuirla de manera anticipatoria a lo largo del ciclo de vida del siste-

ma, incorporando evaluaciones éticas ex ante que establezcan umbrales

de aceptabilidad moral antes del despliegue operativo. En esta línea, la

certiﬁcación actúa como un mecanismo de orquestación moral en el que

convergen la ingeniería ética, la evaluación legal y la deliberación política

(Winﬁeld; Jirotka, 2018). De esta manera, la anticipación adquiere un ca-

rácter no solo técnico, sino también axiológico, puesto que implica deﬁnir

desde el diseño cuáles conductas resultan moralmente tolerables y cuáles

deben quedar descartadas.

La certiﬁcación supera, por tanto, la mera conformidad regulato-

ria. Mientras el cumplimiento legal suele adoptar un carácter formal,

reactivo e incluso insuﬁciente, la certiﬁcación supone la conﬁguración

activa de valores en el sistema, mediante simulaciones éticas, algoritmos

limitadores y validaciones orientadas por principios normativos. De este

modo, la autoría moral no se diluye, sino que se reformula como una

práctica distribuida, en la que cada etapa del ciclo, tales como diseño,

implementación y evaluación, comporta responsabilidades diferenciadas,

aunque interdependientes.

Sobre esta base, resulta fundamental identiﬁcar tres imperativos éti-

cos que estructuren cualquier desarrollo de sistemas autónomos letales.

En primer lugar, la preservación de la agencia debe asumirse como un

nexo intencional irreductible. La acción moral requiere la existencia de

una intención atribuible a un sujeto que pueda comprender, deliberar y

responsabilizarse de sus actos. Cuando la automatización diluye esta inten-

cionalidad mediante abstracción procedimental o delegación algorítmica,

se erosiona la base misma de la responsabilidad moral (Anscombe, 1957).

En términos más contemporáneos, la agencia puede entenderse como una

capacidad situada de intervención con sentido (Bennett, 2005), de modo

que todo diseño que impida rastrear la autoría humana de las decisiones

incurre en una irresponsabilidad estructural éticamente inaceptable.

160

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

En segundo lugar, el respeto a la dignidad humana debe asumirse

como un límite ontológico ineludible. No se trata de un mero atributo

legal, sino de una condición constitutiva del ser moral. Desde una pers-

pectiva kantiana, la dignidad radica en la capacidad de autolegislación

racional, lo que prohíbe tratar a los individuos como medios para ﬁnes

externos (Kant, 1996). Así, cualquier sistema que habilite la supresión

de vidas humanas sin mediación moral transgrede este principio de ma-

nera radical. En esta dirección, se ha defendido la necesidad de un “di-

seño con dignidad” que integre restricciones morales no negociables en

la arquitectura misma de los sistemas (Sparrow, 2016). El objetivo, por

tanto, no consiste únicamente en prevenir abusos, sino en garantizar

que la dignidad permanezca inviolable incluso en escenarios de auto-

matización extrema.

Así, la atribución clara y distribuida de la responsabilidad constitu-

ye un imperativo ético decisivo. La complejidad de los sistemas tiende a

diluir la culpa y a dispersar la rendición de cuentas, lo que exige instau-

rar un modelo de responsabilidad estructurada que deﬁna obligaciones

especíﬁcas en cada etapa del ciclo de vida del sistema (Floridi; Cowls,

2019), el cual debe institucionalizarse mediante mecanismos veriﬁcables

de transparencia, auditabilidad y exigibilidad jurídica, de manera que la

responsabilidad no quede reducida a un plano retórico, sino que se tradu-

zca en prácticas concretas capaces de responder por los efectos generados.

Con base en lo anterior, resulta pertinente articular un marco pos-

t-MHC compuesto por tres dimensiones temporales: la anticipación ética

en el diseño, los límites operativos en la implementación y la trazabili-

dad moral en la fase posterior al despliegue. Dichas dimensiones, aun-

que diferenciadas, convergen en la aspiración de reconstruir la agencia

humana en contextos crecientemente automatizados. La dimensión ex

ante implica incorporar, desde la génesis del sistema, criterios normativos

que orienten su comportamiento futuro, lo que requiere la cooperación

interdisciplinaria capaz de traducir principios éticos en restricciones fun-

cionales y líneas de código (Taddeo; Blanchard, 2022).

Asimismo, durante la implementación se deben establecer límites

operativos que prevengan desvíos moralmente problemáticos, ya sea me-

diante zonas de exclusión, umbrales de validación o mecanismos inter-

nos de autorregulación, como los denominados “gobernadores éticos”

(Arkin, 2009). No obstante, dichos mecanismos solo resultan legítimos si

los operadores humanos conservan siempre una capacidad real de anula-

ción. Por otro lado, la dimensión ex post requiere sistemas de trazabilidad

que permitan reconstruir las cadenas de decisión, identiﬁcar responsables

y generar aprendizajes para nuevas iteraciones. Dicho propósito demanda

no solo registros técnicos, sino también herramientas de inteligencia ar-

tiﬁcial explicable, auditorías independientes y estructuras institucionales

adaptativas (Wood, 2024).

En deﬁnitiva, el modelo post-MHC no pretende erradicar la agen-

cia humana, sino reconstruirla en condiciones de creciente complejidad

técnica. Dicha reconstrucción debe ser ética, robusta y distribuida, de

manera que preserve la integridad moral de la acción colectiva incluso

cuando se medie por tecnologías altamente autónomas. No se trata de

161

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

sostener una ilusión de control, sino de reconﬁgurar las condiciones de

posibilidad para una agencia deliberativa, responsable y, en última instan-

cia, genuinamente humana.

6 CONCLUSIONES

El análisis realizado conﬁrma que el marco antropocéntrico clásico

ha perdido eﬁcacia como fundamento normativo ante la creciente auto-

nomía de los sistemas de armas letales. El desplazamiento ontológico pro-

ducido por la automatización del conﬂicto no puede reducirse a una mera

soﬁsticación técnica, sino que inaugura nuevas formas de agencia cuya

opacidad desafía los esquemas normativos convencionales. El concepto

de control humano signiﬁcativo, aunque reiterado en diversos foros regu-

latorios, parece responder más a una necesidad simbólica que a una viabi-

lidad práctica. Desde esta perspectiva, la legitimidad ética de los entornos

bélicos automatizados no puede mantenerse sin una revisión estructural

de los marcos valorativos que justiﬁcan el uso de la fuerza.

El andamiaje teórico aquí propuesto introduce tres aportaciones

decisivas para la ética de la tecnología. En primer lugar, la noción de

brecha de responsabilidad permite problematizar la desconexión entre

agencia técnica y responsabilidad moral como un problema estructural,

no meramente resoluble mediante ajustes jurídicos. En segundo lugar,

se propone el modelo de certiﬁcación signiﬁcativa, que desplaza el foco

desde la supervisión puntual hacia formas de responsabilidad anticipada

e inscrita desde el diseño. Finalmente, se formulan tres principios éticos

ineludibles, cuya función no es meramente declarativa sino operativa: la

preservación de la agencia intencional, la inviolabilidad de la dignidad

humana como límite ontológico y la asignación distribuida de responsa-

bilidad. Estas premisas conﬁguran un marco normativo integral frente a

los desafíos éticos de la automatización letal.

La dimensión aplicada del marco planteado requiere reestructura-

ciones institucionales y metodológicas sustanciales. La incorporación de

equipos transdisciplinarios desde el diseño inicial de los sistemas permiti-

ría que las restricciones normativas se traduzcan en arquitecturas funcio-

nales concretas. Paralelamente, se demanda la adopción de protocolos de

evaluación ética ex ante, con énfasis en simulaciones moralmente sensi-

bles y trazabilidad de decisiones técnicas. Estas transformaciones no pue-

den depender de iniciativas fragmentarias. Resulta imperativo avanzar

hacia marcos regulatorios internacionales con fuerza vinculante, capaces

de uniﬁcar criterios de certiﬁcación ética y evitar disonancias normativas

que pongan en riesgo la gobernanza efectiva de estas tecnologías.

Los hallazgos invitan a una agenda investigativa abierta y plural.

En el plano teórico, se requiere profundizar en la articulación entre agen-

cia distribuida y responsabilidad colectiva, sin incurrir en esquemas que

diluyan la rendición de cuentas individual. La ﬁlosofía moral enfrenta el

desafío de construir una ética post-antropocéntrica con capacidad pres-

criptiva, sin recurrir a formas de relativismo que neutralicen su eﬁcacia

normativa. Desde un enfoque empírico, urge el desarrollo de metodo-

logías que operacionalicen la certiﬁcación signiﬁcativa en escenarios

162

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

tecnológicos concretos. Finalmente, se impone una reﬂexión política de

corte comparativo que identiﬁque modelos exitosos de gobernanza algo-

rítmica, con el ﬁn de extrapolar aprendizajes al dominio de la automati-

zación militar.

El debate sobre sistemas autónomos letales desborda su especiﬁci-

dad técnica para convertirse en un punto de inﬂexión ﬁlosóﬁco. La au-

tomatización de la violencia obliga a reconsiderar las condiciones bajo

las cuales puede sostenerse una ética de la responsabilidad en contextos

de mediación tecnológica extrema. La guerra algorítmica no solo plan-

tea riesgos operativos, sino que expone una tensión más profunda entre

racionalidad instrumental y juicio moral, que recorre otras esferas del

presente. En ese marco, los conceptos elaborados para abordar la autono-

mía bélica ofrecen un potencial heurístico relevante para pensar la auto-

matización en educación, salud, justicia o gestión ambiental. La defensa

de la agencia humana, por tanto, no implica una negación nostálgica del

progreso técnico, sino una aﬁrmación crítica de su orientación ética.

Declaración sobre el uso de IA generativa

En la elaboración de este manuscrito es usó GPT en su versión 4o

para poder corregir errores de redacción, tipográﬁcos. Se aseguró que los

resultados mantengan el tono e intención del autor.

REFERENCIAS

ANSCOMBE, G. E. M. Intention. Proceedings of the Aristotelian Society, v. 57, n. 1, p. 321–332, 1957.

DOI: https://d oi.org/10.1093/aristotelian/57.1.321.

ARENDT, H. The Human Condition. 2. ed. Edited by M. Canovan and D. Allen. Chicago: Univer-

sity of Chicago Press, 2018.

ARKIN, R. Governing Lethal Behavior in Autonomous Robots. 0 ed. [S. l.]: Chapman and Hall/CRC,

2009. DOI: https://d oi.org/10.1201/9781420085952.

ARQUILLA, J.; RONFELDT, D. Cyberwar is coming! Comparative Strategy, v. 12, n. 2, p. 141–165,

1993. DOI: https://d oi.org/10.1080/01495939308402915.

ASARO, P. On banning autonomous weapon systems: Human rights, automation, and the

dehumanization of lethal decision-making. International Review of the Red Cross, v. 94, n. 886, p.

687–709, 2012. DOI: https://d oi.org/10.1017/S1816383112000768.

BODE, I.; HUELSS, H.; NADIBAIDZE, A.; QIAO-FRANCO, G.; WATTS, T. F. A. Algorithmic

Warfare: Taking Stock of a Research Programme. Global Society, v. 38, n. 1, p. 1–23, 2024. DOI:

https://d oi.org/10.1080/13600826.2023.2263473.

BOULANIN, V.; VERBRUGGEN, M. Mapping the development of autonomy in weapon systems. [S.

l.]: SIPRI, 2017. DOI: https://d oi.org/10.13140/RG.2.2.22719.41127.

BOYLE, M. J. The costs and consequences of drone warfare. International Aﬀairs, v. 89, n. 1, p.

1–29, 2013. DOI: https://d oi.org/10.1111/1468-2346.12002.

BROWNE, R. Spotify’s Daniel Ek leads investment in Defense startup Helsing [Noticias]. CNBC,

2025. Disponível em: https://w w w .cnbc.com/2025/06/17/spotifys-daniel-ek-leads-investment-

-in-defense-startup-helsing.html.

COECKELBERGH, M. AI Ethics. Cambridge: The MIT Press, 2020.

CUMMINGS, M. L. Rethinking the Maturity of Artiﬁcial Intelligence in Safety Critical Set-

tings. AI Magazine, v. 42, n. 1, p. 6–15, 2021. DOI: https://d oi.org/10.1002/j.2371-9621.2021.

tb00005.x.

CUMMINGS, M. M. Man versus Machine or Man + Machine? IEEE Intelligent Systems, v. 29, n. 5,

p. 62–69, 2014. DOI: https://d oi.org/10.1109/MIS.2014.87.

163

estudos internacionais • Belo Horizonte, ISSN 2317-773X, v. 13, n. 2, (jun. 2025), p. 149-165

DANAHER, J. The Threat of Algocracy: Reality, Resistance and Accommodation. Philosophy &

Technology, v. 29, n. 3, p. 245–268, 2016. DOI: https://d oi.org/10.1007/s13347-015-0211-1.

DENNING, D. Cyber Conﬂict as an Emergent Social Phenomenon. In: HOLT, T. J.; SCHELL,

B. H. (eds.). Corporate Hacking and Technology-Driven Crime: Social Dynamics and Implications. Her-

shey: IGI Global, 2011. DOI: https://d oi.org/10.4018/978-1-61692-805-6.

DEPARTMENT OF DEFENSE. Directive No. 3000.09 Autonomy in weapon systems. 2012. Dispo-

nível em: https://w w w .esd.whs.mil/Portals/54/Documents/DD/issuances/dodd/300009p.pdf.

EKELHOF, M. Moving Beyond Semantics on Autonomous Weapons: Meaningful Human Con-

trol in Operation. Global Policy, v. 10, n. 3, p. 343–348, 2019. DOI: https://d oi.org/10.1111/1758-

5899.12665.

FLORIDI, L. The Philosophy of Information. Oxford: Oxford University Press, 2011. DOI: h t t p s ://

doi.org/10.1093/acprof:oso/9780199232383.001.0001.

FLORIDI, L.; COWLS, J. A Uniﬁed Framework of Five Principles for AI in Society. Harvard Data

Science Review, 2019. DOI: https://d oi.org/10.1162/99608f92.8cd550d1.

FREEDMAN, L. The Evolution of Nuclear Strategy. 2. ed. London: Macmillan for the International

Institute for Strategic Studies, 1989.

GREIF, H. Models, Algorithms, and the Subjects of Transparency. In: MÜLLER, V. C. (ed.). Phi-

losophy and Theory of Artiﬁcial Intelligence 2021. Cham: Springer International Publishing, 2022. v.

63, p. 27–37. DOI: https://d oi.org/10.1007/978-3-031-09153-7_3.

GUSTERSON, H. It’s all Lavender in Gaza. Anthropology Today, v. 40, n. 6, p. 1–2, 2024. DOI:

https://d oi.org/10.1111/1467-8322.12923.

HABERMAS, J. The Theory of Communicative Action: Volume 1: Reason and the Rationalization of

Society. Tradução de T. McCarthy. Boston: Beacon Press, 1984.

HOROWITZ, M. C. The Ethics & Morality of Robotic Warfare: Assessing the Debate over Au-

tonomous Weapons. Daedalus, v. 145, n. 4, p. 25–36, 2016. DOI: https://d oi.org/10.1162/DAE-

D_a_00409.

JANI ATOVÁ, S.; MLEJNKOVÁ, P. The ambiguity of hybrid warfare: A qualitative content

analysis of the United Kingdom’s political–military discourse on Russia’s hostile activities. Con-

temporary Security Policy, v. 42, n. 3, p. 312–344, 2021. DOI: https://d oi.org/10.1080/13523260.20

21.1885921.

KALLENBORN, Z.; BLEEK, P. C. Swarming destruction: Drone swarms and chemical, biologi-

cal, radiological, and nuclear weapons. The Nonproliferation Review, v. 25, n. 5–6, p. 523–543, 2018.

DOI: https://d oi.org/10.1080/10736700.2018.1546902.

KANT, I. The Metaphysics of Morals. Edited by M. J. Gregor. Cambridge: Cambridge University

Press, 1996.

KLONOWSKA, K. Article 36: Review of AI Decision-Support Systems and Other Emerging Te-

chnologies of Warfare. In: GILL, T. D.; GEIß, R.; KRIEGER, H.; MIGNOT-MAHDAVI, R. (eds.).

Yearbook of International Humanitarian Law, Volume 23 (2020). The Hague: T.M.C. Asser Press,

2022. v. 23, p. 123–153. DOI: https://d oi.org/10.1007/978-94-6265-491-4_6.

KUNERTOVA, D. Drones have boots: Learning from Russia’s war in Ukraine. Contemporary

Security Policy, v. 44, n. 4, p. 576–591, 2023. DOI: https://d oi.org/10.1080/13523260.2023.2262792.

LÉVINAS, E. Totality and Inﬁnity: An Essay on Exteriority. Tradução de A. Lingis. 22nd reprint.

Pittsburgh: Duquesne University Press, 1969.

LIBICKI, M. C. What Is Information Warfare? Strategic Forum, n. 28, p. 4. Washington, D.C.: Cen-

ter for Advanced Concepts and Technology, Institute for National Strategic Studies, National

Defense University, 1995.

LIST, C. Group Agency and Artiﬁcial Intelligence. Philosophy & Technology, v. 34, n. 4, p. 1213–

1242, 2021. DOI: https://d oi.org/10.1007/s13347-021-00454-7.

MATTHIAS, A. The responsibility gap: Ascribing responsibility for the actions of learning auto-

mata. Ethics and Information Technology, v. 6, n. 3, p. 175–183, 2004. DOI: https://d oi.org/10.1007/

s10676-004-3422-1.

PAYNE, K. I, Warbot: The Dawn of Artiﬁcially Intelligent Conﬂict. London: Hurst, 2021.

RID, T. Cyber War Will Not Take Place. Oxford: Oxford University Press, 2013.

ROFF, H. M. The Strategic Robot Problem: Lethal Autonomous Weapons in War. Journal of

Military Ethics, v. 13, n. 3, p. 211–227, 2014. DOI: https://d oi.org/10.1080/15027570.2014.975010.

164

Fernando A. Ramos-Zaga Insuficiencia estructural del control humano significativo en armas autónomas:

fundamentos para una reorientación normativa post-antropocéntrica

SANTONI DE SIO, F.; VAN DEN HOVEN, J. Meaningful Human Control over Autonomous

Systems: A Philosophical Account. Frontiers in Robotics and AI, v. 5, p. 15, 2018. DOI: h t t p s ://d o i .

org/10.3389/frobt.2018.00015.

SCHARRE, P. Army of None: Autonomous Weapons and the Future of War. Reprint. New York: W.

W. Norton & Company, 2018.

SHEA, N. Organized representations forming a computationally useful processing structure.

Synthese, v. 202, n. 6, p. 175, 2023. DOI: https://d oi.org/10.1007/s11229-023-04373-2.

SINGER, P. W. Wired for War: The Robotics Revolution and Conﬂict in the Twenty-ﬁrst Century. Illus-

trated reprint. New York: Penguin Press, 2009.

SKITKA, L. J.; MOSIER, K. L.; BURDICK, M. Does automation bias decision-making? Internatio-

nal Journal of Human-Computer Studies, v. 51, n. 5, p. 991–1006, 1999. DOI: https://d oi.org/10.1006/

ijhc.1999.0252.

SOLOVYEVA, A.; HYNEK, N. When stigmatization does not work: Over-securitization in ef-

forts of the Campaign to Stop Killer Robots. AI & SOCIETY, v. 38, n. 6, p. 2547–2569, 2023. DOI:

https://d oi.org/10.1007/s00146-022-01613-w.

SPARROW, R. Killer Robots. Journal of Applied Philosophy, v. 24, n. 1, p. 62–77, 2007. DOI: h t t p s ://

doi.org/10.1111/j.1468-5930.2007.00346.x.

SPARROW, R. Robots and Respect: Assessing the Case Against Autonomous Weapon Sys-

tems. Ethics & International Aﬀairs, v. 30, n. 1, p. 93–116, 2016. DOI: https://d oi.org/10.1017/

S0892679415000647.

TADDEO, M.; BLANCHARD, A. Accepting Moral Responsibility for the Actions of Autono-

mous Weapons Systems—A Moral Gambit. Philosophy & Technology, v. 35, n. 3, p. 78, 2022. DOI:

https://d oi.org/10.1007/s13347-022-00571-x.

TADDEO, M.; FLORIDI, L. How AI can be a force for good. Science, v. 361, n. 6404, p. 751–752,

2018. DOI: https://d oi.org/10.1126/science.aat5991.

WINFIELD, A. F. T.; JIROTKA, M. Ethical governance is essential to building trust in robotics

and artiﬁcial intelligence systems. Philosophical Transactions of the Royal Society A: Mathematical,

Physical and Engineering Sciences, v. 376, n. 2133, p. 20180085, 2018. DOI: https://d oi.org/10.1098/

rsta.2018.0085.

WINTER, E. The Compatibility of Autonomous Weapons with the Principles of International

Humanitarian Law. Journal of Conﬂict and Security Law, v. 27, n. 1, p. 1–20, 2022. DOI: h t t p s ://d o i .

org/10.1093/jcsl/krac001.

WOOD, N. G. Explainable AI in the military domain. Ethics and Information Technology, v. 26, n.

2, p. 29, 2024. DOI: https://d oi.org/10.1007/s10676-024-09762-w.

ZEDNIK, C. Solving the Black Box Problem: A Normative Framework for Explainable Artiﬁcial

Intelligence. Philosophy & Technology, v. 34, n. 2, p. 265–288, 2021. DOI: https://d oi.org/10.1007/

s13347-019-00382-7.

165