El nuevo proyecto busca construir tomadores de decisiones de IA confiables para escenarios donde la verdad de base no existe
El nuevo proyecto busca construir tomadores de decisiones de IA confiables para escenarios donde la verdad de base no existeIn The Moment (ITM)
Las operaciones militares, desde el combate hasta el triaje médico, pasando por la ayuda en caso de catástrofe, requieren la toma de decisiones compleja y rápida en situaciones dinámicas, en las que a menudo no hay una única respuesta correcta. Por ejemplo, dos mandos militares experimentados que se enfrentan al mismo escenario en el campo de batalla pueden tomar decisiones tácticas diferentes cuando se enfrentan a opciones difíciles.
A medida que los sistemas de IA se vuelven más avanzados para trabajar en equipo con los humanos, es vital crear una confianza humana adecuada en sus capacidades para tomar decisiones acertadas. Captar las características clave que subyacen a la toma de decisiones de los expertos en entornos dinámicos y representar computacionalmente esos datos en los algoritmos de toma de decisiones puede ser un elemento esencial para garantizar que los algoritmos tomen decisiones fiables en circunstancias difíciles.
DARPA anunció el programa In the Moment (ITM), que pretende cuantificar la alineación de los algoritmos con los responsables humanos de confianza en dominios difíciles, en los que no hay una respuesta correcta acordada. El objetivo de ITM es evaluar y crear algorítmicos responsables de confianza para las operaciones de misiones críticas.
«El ITM es diferente de los enfoques típicos de desarrollo de IA que requieren un acuerdo humano sobre los resultados correctos», dijo Matt Turek, director del programa ITM. «La falta de una respuesta correcta en escenarios difíciles nos impide emplear las técnicas convencionales de evaluación de la IA, que implícitamente requieren el acuerdo humano para crear datos de verdad.»
A modo de ejemplo, los algoritmos de los coches autoconducidos pueden basarse en la verdad sobre el terreno para dar respuestas correctas e incorrectas a la hora de conducir, basándose en las señales de tráfico y las normas de circulación que no cambian. Un enfoque factible en estos casos es codificar los valores de riesgo en el entorno de simulación utilizado para entrenar los algoritmos de los coches autoconducidos.
«Desde el punto de vista del Departamento de Defensa, la introducción de valores de riesgo únicos no funcionaría, porque las situaciones de combate evolucionan rápidamente y las intenciones de los comandantes cambian de un escenario a otro», dijo Turek. «El Departamento de Defensa necesita enfoques rigurosos, cuantificables y escalables para evaluar y crear sistemas algorítmicos para la toma de decisiones difíciles, en las que no se dispone de una verdad objetiva. Las decisiones difíciles son aquellas en las que los responsables de la toma de decisiones de confianza no están de acuerdo, no existe una respuesta correcta y la incertidumbre, la presión del tiempo y los valores contradictorios crean importantes desafíos en la toma de decisiones.»
El ITM se inspira en el campo del análisis de imágenes médicas, donde se han desarrollado técnicas para evaluar sistemas, incluso cuando los expertos pueden no estar de acuerdo con la verdad de base. Por ejemplo, los límites de los órganos o las patologías pueden ser poco claros o controvertidos entre los radiólogos. Para superar la falta de un límite verdadero, se compara un límite dibujado por el algoritmo con la distribución de los límites dibujados por los expertos humanos. Si el límite del algoritmo se encuentra dentro de la distribución de los límites dibujados por los expertos humanos a lo largo de muchos ensayos, se dice que el algoritmo es comparable al rendimiento humano.
«Partiendo de la idea de las imágenes médicas, el IMT desarrollará un marco cuantitativo para evaluar la toma de decisiones de los algoritmos en ámbitos muy difíciles», dijo Turek. «Crearemos escenarios de toma de decisiones realistas y desafiantes que provoquen respuestas de seres humanos de confianza para capturar una distribución de atributos clave de la toma de decisiones. A continuación, someteremos un algoritmo de toma de decisiones a los mismos escenarios desafiantes y mapearemos sus respuestas en la distribución de referencia para compararla con la de los responsables humanos de confianza».
El programa tiene cuatro áreas técnicas. La primera es el desarrollo de técnicas de caracterización de los responsables de la toma de decisiones que identifiquen y cuantifiquen los atributos clave de los responsables de la toma de decisiones en dominios difíciles. La segunda área técnica es la creación de una puntuación de alineación cuantitativa entre un responsable de la toma de decisiones humano y un algoritmo de manera que sea predictiva de la confianza del usuario final. Una tercera área técnica se encarga de diseñar y ejecutar la evaluación del programa. La última área técnica será responsable de la integración de la política y la práctica, proporcionando conocimientos jurídicos, morales y éticos al programa, apoyando el desarrollo de la futura política del Departamento de Defensa y los conceptos de operaciones (CONOPS), supervisando el desarrollo de un proceso de operaciones éticas (DevEthOps) y llevando a cabo eventos de divulgación a la comunidad política más amplia.
El ITM es un programa de 3,5 años que comprende dos fases, con la posibilidad de una tercera dedicada a la maduración de la tecnología con un socio de transición. La primera fase tendrá 24 meses de duración, y se centrará en el triaje de pequeñas unidades como escenario de toma de decisiones. La segunda fase con 18 meses de duración aumentará la complejidad de la toma de decisiones al centrarse en sucesos con víctimas masivas.
Para evaluar todo el proceso del ITM, se presentarán escenarios de triaje médico (Fase 1) o de víctimas masivas (Fase 2) a múltiples tomadores de decisiones humanos y algorítmicos. Los responsables algorítmicos incluirán un responsable alineado con conocimiento de los atributos clave de la toma de decisiones humanas y otro responsable de referencia sin conocimiento de esos atributos humanos clave. También se incluirá un profesional del triaje humano como control experimental.
«Recogeremos las decisiones y las respuestas de cada uno de estos responsables y las presentaremos de forma ciega a varios profesionales del triaje», explica Turek. «Esos profesionales no sabrán si la respuesta procede de un algoritmo alineado, de un algoritmo de referencia o de un humano. Y la pregunta que podríamos plantear a esos profesionales del triaje es en qué responsable de la toma de decisiones delegarían, lo que nos proporcionaría una medida de su disposición a confiar en esos responsables concretos.»
Fte. DARPA
