Defensa contra la Inteligencia Artificial enemiga

DARPA tiene como objetivo desarrollar una nueva generación de defensas para frustrar los intentos de engañar a los algoritmos de aprendizaje de la máquina.

El aprendizaje automático (Machine Learning) (ML) se está haciendo realidad, listo para servir a la humanidad en una amplia gama de aplicaciones, desde la fabricación altamente eficiente, la medicina y el análisis de información masiva hasta el transporte por carretera, y más allá.  Sin embargo, si se aplica mal, se usa mal o se subvierte, el ML tiene el potencial de causar un gran daño, esta es la espada de doble filo del aprendizaje automático.

«Durante la última década, los investigadores se han centrado en la realización de ML práctico capaz de realizar tareas del mundo real y hacerlas más eficientes», dijo la Dra. Hava Siegelmann, gerente de programa en la Oficina de Innovación de Información (I2O) de DARPA. «Ya nos estamos beneficiando de ese trabajo y estamos incorporando rápidamente el ML en una serie de empresas. Pero, de una manera muy real, nos hemos apresurado, prestando poca atención a las vulnerabilidades inherentes a las plataformas ML, particularmente en términos de alterar, corromper o engañar a estos sistemas».

En un ejemplo citado con frecuencia, el ML utilizado por un automóvil que se conduce por sí mismo fue engañado mediante alteraciones visuales de una señal de stop. Mientras que un humano que ve el letrero alterado no tendría dificultad en interpretar su significado, el ML interpretó erróneamente el letrero de stop como una señal de límite de velocidad de 45 mph. En un ataque en el mundo real como este, el auto que se conduce aceleraría a pesar de la señal de stop, causando potencialmente un resultado desastroso. Este es sólo uno de los muchos ataques recientemente descubiertos que se pueden aplicar a prácticamente cualquier aplicación ML.

Para superar este reto grave de seguridad, DARPA creó el programa de Guaranteeing AI Robustness against Deception (GARD) . El GARD tiene como objetivo desarrollar una nueva generación de defensas contra los ataques adversarios en los modelos de ML. Los trabajos actuales se diseñaron para protegerse contra ataques adversarios específicos y predefinidos y, cuando se probaron, seguían siendo vulnerables a los ataques fuera de sus parámetros de diseño. El GARD busca enfocar la defensa del LD de manera diferente, desarrollando defensas de base amplia que aborden los numerosos ataques posibles en un escenario dado.

«Existe una necesidad crítica de defensa contra el lavado de dinero a medida que la tecnología se incorpora cada vez más en algunas de nuestras infraestructuras más críticas. El programa GARD busca prevenir el caos que podría producirse en un futuro próximo cuando las metodologías de ataque, ahora en su infancia, hayan madurado a un nivel más destructivo. Debemos asegurarnos de que el ML sea seguro e incapaz de ser engañado», declaró Siegelmann.

La novedosa respuesta del GARD a la IA agresiva se centrará en tres objetivos principales: 1) el desarrollo de fundamentos teóricos para un ML defendible y un léxico de nuevos mecanismos de defensa basados en ellos; 2) la creación y prueba de sistemas defendibles en una amplia gama de escenarios; y 3) la construcción de un nuevo banco de pruebas para caracterizar la defensibilidad del ML, en relación con los escenarios de amenaza. A través de estos elementos interdependientes del programa, el GARD pretende crear tecnologías de ML resistentes al engaño con criterios estrictos para evaluar su robustez.

El GARD explorará muchas direcciones de investigación para posibles defensas, incluyendo la biología. «El tipo de defensa amplia basada en escenarios que buscamos generar se puede ver, por ejemplo, en el sistema inmunológico, que identifica los ataques, gana y recuerda el ataque para crear una respuesta más efectiva durante los compromisos futuros», dijo Siegelmann.

El GARD trabajará para abordar las necesidades actuales, pero también teniendo en cuenta los retos futuros. El programa se concentrará inicialmente en el ML basado en imágenes de última generación, y luego en vídeo, audio y sistemas más complejos, incluyendo variaciones multisensoriales y multimodales. También tratará de abordar la ML capaz de hacer predicciones, tomar decisiones y adaptarse a lo largo de su vida.

El 6 de febrero de 2019 tuvo lugar un Día del Proponente en el Centro de Conferencias DARPA, para brindar mayores detalles sobre las metas y desafíos técnicos del programa GARD.

Fte. DARPA