Las tres principales amenazas a la seguridad de la IA

La gente que trabaja en inteligencia artificial debería invertir mucho más esfuerzo y dinero en la protección de sistemas, para evitar que cueste miles de millones más en el futuro, según el director fundador del Center for Security and Emerging Technology.

Jason Matheny dirige el Centro, una organización que tiene su sede en la Escuela Walsh de Servicio Exterior de la Universidad de Georgetown, que tiene por objeto proporcionar análisis de políticas e inteligencia al Gobierno. Antes de lanzar el think tank, Matheny fue subdirector de inteligencia nacional, y antes de eso desempeñaba el cargo de Director de IARPA – Intelligence Advanced Research Projects Activity. Actualmente es miembro de la Comisión Nacional de Seguridad en Inteligencia Artificial.

Hablando desde esa perspectiva el 4 de septiembre, durante un panel en la Cumbre de Inteligencia y Seguridad Nacional de 2019, Matheny dijo que los sistemas de inteligencia artificial no se están desarrollando con un enfoque saludable en la evolución de las amenazas, a pesar del aumento de la financiación por parte del Pentágono y el sector privado.

“Muchas de las técnicas que se usan hoy en día fueron desarrolladas sin adversarios inteligentes en mente. Eran como inocentes”.

Para Matheny, hay tres tipos principales de ataques que los desarrolladores deben considerar: adversarial examples, troyanos y conversión de modelos.

“Adversarial examples” son los intentos de confundir los sistemas de IA engañándolos para que clasifiquen erróneamente los datos. Aprovechando la forma en que un sistema de IA procesa los datos, un adversario puede engañarlo para que vea algo que no existe.” Es una técnica que un enemigo puede usar para confundir a un clasificador, para que piense que, por ejemplo, una imagen de un tanque es la de un autobús escolar o una marsopa. Es una forma de crear una especie de ilusión óptica para un sistema de aprendizaje automático”, explicó Matheny.

Mientras que los “adversarial examples” se emplean generalmente en sistemas de IA totalmente desarrollados, los ataques de troyanos se usan durante su desarrollo. En un ataque de troyanos, un adversario puede introducir un cambio en el entorno en el que el sistema está aprendiendo, lo que hace que aprenda una lección equivocada.

Un tercer tipo de ataque, llamado conversión de modelos, se emplea en sistemas de aprendizaje por máquina. Con la conversión de modelos, los adversarios básicamente hacen ingeniería inversa en la máquina aprendiendo para ver qué información se usó para entrenarla.

“Así que si se tiene un montón de datos clasificados que van a formar parte de un modelo, se necesita proteger a éste, incluso después de que haya sido entrenado en el nivel más alto de clasificación, correspondiente al de los datos utilizados para entrenarlo”, dijo Matheny. “Por favor, tengan cuidado con sus modelos de aprendizaje.”

A pesar de estas tres vulnerabilidades, Matheny señaló que, menos del uno por ciento de los fondos para investigación y desarrollo de la IA se destina a seguridad.

“De la misma manera que ahora estamos actualizando la mayoría de los sistemas de TI con medidas de seguridad, destinadas a abordar las vulnerabilidades que se introdujeron en ellos en la década de 1980 o antes, en algunos casos vamos a tener que empezar a trabajar en seguridad desde el principio con la IA, a menos que queramos gastar miles de millones de dólares en la actualización de la seguridad dentro de unos años”, dijo Matheny.