DARPA quiere que la AI informe de cuándo ella misma es tonta

En situaciones de alto riesgo, no se necesita una tecnología que no sepa lo que está haciendo.

Por ello, los científicos de la oficina de investigación del Pentágono están trabajando para construir sistemas de inteligencia artificial, capaces de hacer algo que confunde a la mayoría de los seres humanos: reconocer su propia incompetencia.

La Agencia de Proyectos de Investigación Avanzada de la Defensa ha puesto en marcha el programa Competency-Aware Machine Learning, un esfuerzo para construir herramientas de IA, que puedan modelar su propio comportamiento, recordar experiencias pasadas y aplicar el conocimiento a nuevas situaciones.

Dadas estas habilidades, dijeron los responsables, la AI podría en última instancia evaluar su propia experiencia para una tarea determinada, y hacer saber a la gente si no sabe lo que está haciendo.

En general, los sistemas de IA funcionan mejor cuando se aplican a tareas muy explícitas y estrechas, e incluso la tecnología más afinada podría fallar si las situaciones cambian ligeramente. Una herramienta que clasifica a los perros puede funcionar perfectamente a plena luz del día, pero puede confundir a un golden retriever con un laboratorio negro cuando está nublado afuera, por ejemplo.

La tecnología en sí misma no sabe lo precisa que será en una situación dada, o si está adecuadamente entrenada para la tarea en cuestión. Y en el mundo de las operaciones militares de alto riesgo y rápidamente cambiantes, esta incertidumbre podría ser particularmente problemática, según DARPA.

«Para transformar los sistemas de aprendizaje de máquinas de herramientas en socios, los usuarios deben confiar en sus homólogos de máquinas», dicen los funcionarios. «Uno de los componentes para generar confianza es comprender la competencia de la máquina» y obtener «una visión precisa de las habilidades, experiencia y fiabilidad de la máquina».

Durante el programa de cuatro años, los participantes crearán herramientas que pueden construir memorias de experiencias pasadas y analizar sus propios procesos de toma de decisiones, según la convocatoria. En última instancia, los equipos desplegarán y probarán la tecnología en las plataformas del Departamento de Defensa, dijeron las autoridades.

Hoy en día, la transformación de la IA de una herramienta útil a un «socio colaborador» es una de las principales prioridades de DARPA. En los próximos cinco años, la agencia planea invertir 2.000 millones de dólares en la construcción de la llamada «IA de tercera ola», una tecnología que puede abrirse camino en el mundo y proporcionar a los seres humanos nuevas ideas.

Incluido en el amplio portafolio de AI de DARPA están los esfuerzos para automatizar el proceso científico, construir computadoras con sentido común, construir tecnología que refleje los cerebros de los insectos y vincular los sistemas militares con el cuerpo humano.

Fte. Next Gov