Los sistemas de armas autónomas, comúnmente conocidos como robots asesinos, podrían haber matado a seres humanos por primera vez el año pasado, según un reciente informe del Consejo de Seguridad de las Naciones Unidas sobre la guerra civil libia. La historia bien podría identificar este hecho como el punto de partida de la próxima gran carrera armamentística, una que tiene el potencial de ser la definitiva de la humanidad.
Los sistemas de armas autónomas, comúnmente conocidos como robots asesinos, podrían haber matado a seres humanos por primera vez el año pasado, según un reciente informe del Consejo de Seguridad de las Naciones Unidas sobre la guerra civil libia. La historia bien podría identificar este hecho como el punto de partida de la próxima gran carrera armamentística, una que tiene el potencial de ser la definitiva de la humanidad.Los sistemas de armas autónomos son robots con armas letales que pueden operar de forma independiente, seleccionando y atacando objetivos sin que un humano intervenga en esas decisiones. Los ejércitos de todo el mundo están invirtiendo mucho en la investigación y el desarrollo de armas autónomas. Solo Estados Unidos ha presupuestado 18.000 millones de dólares para armas autónomas entre 2016 y 2020.
Mientras, las organizaciones de derechos humanos y humanitarias se apresuran a establecer regulaciones y prohibiciones sobre el desarrollo de este tipo de armas. Sin estos controles, los expertos en política exterior advierten que las tecnologías disruptivas de armas autónomas desestabilizarán peligrosamente las estrategias nucleares actuales, tanto porque podrían cambiar radicalmente la percepción del dominio estratégico, aumentando el riesgo de ataques preventivos, como porque podrían llegar a combinarse con las propias armas químicas, biológicas, radiológicas y nucleares.
Como especialista en derechos humanos centrado en la militarización de la inteligencia artificial, considero que las armas autónomas hacen que los equilibrios inestables y las salvaguardias fragmentadas del mundo nuclear, por ejemplo, la autoridad mínimamente limitada del presidente de Estados Unidos para lanzar un ataque, sean más inestables y estén más fragmentados.
Errores letales y cajas negras
Veo cuatro peligros principales en las armas autónomas. El primero es el problema de la identificación errónea. Al seleccionar un objetivo, ¿podrán las armas autónomas distinguir entre soldados hostiles y niños de 12 años que juegan con pistolas de juguete? ¿Entre los civiles que huyen de un lugar de conflicto y los insurgentes que hacen una retirada táctica?
El problema no es que las máquinas cometan esos errores y los humanos no. Es que la diferencia entre el error humano y el error algorítmico es como la diferencia entre enviar una carta y tuitear. La escala, el alcance y la velocidad de los sistemas de robots asesinos -dirigidos por un algoritmo de selección de objetivos, desplegados en todo un continente- podrían hacer que los errores de identificación de los humanos, como el reciente ataque de un dron estadounidense en Afganistán, parezcan meros errores de redondeo en comparación.
El experto en armas autónomas Paul Scharre recurre a la metáfora de la pistola desbocada para explicar la diferencia. Una pistola fuera de control es una ametralladora defectuosa que sigue disparando después de soltar el gatillo. El arma sigue disparando hasta que se agota la munición porque, por así decirlo, el arma no sabe que está cometiendo un error. Las armas desbocadas son extremadamente peligrosas, pero afortunadamente cuentan con operadores humanos que pueden interrumpir el enlace de la munición o intentar orientar el arma en una dirección segura. Las armas autónomas, por definición, no tienen esa salvaguarda.
Y lo que es más importante, la IA armada ni siquiera necesita ser defectuosa para producir el efecto de arma desbocada. Como han demostrado múltiples estudios sobre errores algorítmicos en distintos sectores, los mejores algoritmos, que funcionan según su diseño, pueden generar resultados internamente correctos que, sin embargo, propagan rápidamente errores terribles entre la población.
Por ejemplo, una red neuronal diseñada para su uso en los hospitales de Pittsburgh identificó el asma como un factor de riesgo en los casos de neumonía; el software de reconocimiento de imágenes de Google identificó a los afroamericanos como gorilas; y una herramienta de aprendizaje automático usada por Amazon para clasificar a los candidatos a un puesto de trabajo asignó sistemáticamente puntuaciones negativas a las mujeres.
El problema no es sólo que cuando los sistemas de IA se equivocan, lo hacen en masa. Es que cuando se equivocan, sus creadores a menudo no saben por qué lo han hecho y, por tanto, cómo corregirlo. El problema de la caja negra de la IA hace casi imposible imaginar un desarrollo moralmente responsable de los sistemas de armas autónomas.
Los problemas de proliferación
Los dos siguientes peligros son la proliferación de la gama baja y de la gama alta. Empecemos por el extremo inferior. Los ejércitos que están desarrollando armas autónomas en la actualidad parten del supuesto de que serán capaces de contener y controlar el uso de las armas autónomas. Pero si la historia de la tecnología armamentística ha enseñado algo al mundo, es esto: las armas se propagan. Las presiones del mercado podrían dar lugar a la creación y venta generalizada de lo que puede considerarse el equivalente en armas autónomas del fusil de asalto Kalashnikov: robots asesinos baratos, eficaces y casi imposibles de contener mientras circulan por el mundo. Las armas autónomas «Kalashnikov» podrían llegar a manos de personas ajenas al control gubernamental, incluidos los terroristas internacionales y nacionales.
Sin embargo, la proliferación de armas de alta gama es igual de mala. Las naciones podrían competir para desarrollar versiones cada vez más devastadoras de armas autónomas, incluso capaces de montar armas químicas, biológicas, radiológicas y nucleares. Los peligros morales de la escalada de la letalidad de las armas se verían amplificados por la escalada del uso de las mismas.
Es probable que las armas autónomas de alta gama conduzcan a guerras más frecuentes porque disminuirán dos de las principales fuerzas que históricamente han evitado y acortado las guerras: la preocupación por los civiles en el extranjero y la preocupación por los propios soldados. Es probable que las armas estén equipadas con costosos gobernadores éticos diseñados para minimizar los daños colaterales, empleando lo que la Relatora Especial de la ONU, Agnes Callamard, ha llamado el «mito del ataque quirúrgico» para acallar las protestas morales. Las armas autónomas también reducirán tanto la necesidad como el riesgo de los propios soldados, alterando drásticamente el análisis coste, beneficio que las naciones realizan al lanzar y mantener las guerras.
Es probable que las guerras asimétricas, es decir, las que se libran en el territorio de naciones que carecen de tecnología competitiva, sean cada vez más frecuentes. Pensemos en la inestabilidad mundial provocada por las intervenciones militares soviéticas y estadounidenses durante la Guerra Fría, desde la primera guerra por poderes hasta el retroceso experimentado en todo el mundo en la actualidad. Multiplique eso por todos los países que actualmente aspiran a tener armas autónomas de alta gama.
Socavar las leyes de la guerra
Por último, las armas autónomas socavarán la última barrera de la humanidad contra los crímenes de guerra y las atrocidades: las leyes internacionales de la guerra. Estas leyes, codificadas en tratados que se remontan a la Convención de Ginebra de 1864, son la delgada línea azul internacional que separa la guerra con honor de la masacre. Se basan en la idea de que las personas pueden rendir cuentas de sus actos incluso en tiempos de guerra, que el derecho a matar a otros soldados durante el combate no da derecho a asesinar a civiles. Un ejemplo destacado de alguien a quien se le exigen responsabilidades es Slobodan Milosevic, ex presidente de la República Federal de Yugoslavia, que fue acusado de crímenes de lesa humanidad y de guerra por el Tribunal Penal Internacional para la ex Yugoslavia de la ONU.
Pero, ¿cómo se puede responsabilizar a las armas autónomas? ¿Quién es el culpable de que un robot cometa crímenes de guerra? ¿A quién se juzgaría? ¿El arma? ¿Al soldado? ¿Los mandos del soldado? ¿La empresa que fabricó el arma? A las organizaciones no gubernamentales y a los expertos en derecho internacional les preocupa que las armas autónomas provoquen un grave vacío en la rendición de cuentas.
Para responsabilizar penalmente a un soldado por desplegar un arma autónoma que comete crímenes de guerra, los fiscales tendrían que probar tanto el actus reus como el mens rea, términos latinos que describen un acto culpable y una mente culpable. Esto sería difícil desde el punto de vista jurídico, y posiblemente injusto desde el punto de vista moral, dado que las armas autónomas son inherentemente imprevisibles. Creo que la distancia que separa al soldado de las decisiones independientes tomadas por las armas autónomas en entornos de rápida evolución es simplemente demasiado grande.
El desafío legal y moral no se facilita trasladando la culpa a la cadena de mando o al lugar de producción. En un mundo sin regulaciones que obliguen a un control humano significativo de las armas autónomas, habrá crímenes de guerra sin criminales de guerra a los que responsabilizar. La estructura de las leyes de la guerra, junto con su valor disuasorio, se debilitará considerablemente.
Una nueva carrera mundial de armamento
Imagínese un mundo en el que los militares, los grupos insurgentes y los terroristas internacionales y nacionales pueden desplegar una fuerza letal teóricamente ilimitada con un riesgo teóricamente nulo en el momento y el lugar que elijan, sin la consiguiente responsabilidad legal. Es un mundo en el que el tipo de errores algorítmicos inevitables que afectan incluso a los gigantes tecnológicos como Amazon y Google pueden llevar ahora a la eliminación de ciudades enteras.
En mi opinión, el mundo no debería repetir los errores catastróficos de la carrera armamentística nuclear. No deberíamos caminar dormidos hacia la distopía.
Fte. C4ISRNET
