SemaFor, programa de Investigación Forense Semántica de DARPA

SemaForEl objetivo es el desarrollo de herramientas automatizadas, que ayuden a los analistas a enfrentarse al inminente aumento de la manipulación multimodal de los medios de comunicación.

La capacidad de manipulación de los medios de comunicación está avanzando a un ritmo rápido, al tiempo que se hace cada vez más accesible para todos, desde el editor de fotos casero hasta los agentes del Estado. A medida que la tecnología evoluciona, también lo hace la amenaza para la seguridad nacional que suponen las manipulaciones convincentes de los medios de comunicación. Si bien el problema actual son los vídeos de Deepfake, la capacidad de generar activos multimodales falsificados, como noticias con fotos y vídeos incrustados, puede no estar muy lejos. Para hacer frente a esta creciente amenaza, DARPA ha creado el programa Semantic Forensics (SemaFor), con el que pretende dotar a los analistas de una herramienta que les permita hacer frente a las amenazas de los medios de comunicación. SemaFor pretende dar a los analistas la ventaja en la lucha entre detectores y manipuladores, desarrollando tecnologías capaces de automatizar la detección, atribución y caracterización de los activos mediáticos falsificados.

«Desde el punto de vista de la defensa, SemaFor se centra en explotar una debilidad crítica en los generadores de medios automatizados», dijo el Dr. Matt Turek, director del programa DARPA que dirige SemaFor. «Actualmente, es muy difícil que un algoritmo de generación automatizada consiga que toda la semántica sea correcta. Garantizar que todo esté alineado, desde el texto de una noticia hasta la imagen que la acompaña, pasando por los elementos de la propia imagen, es una tarea muy difícil. A través de este programa pretendemos explorar los modos de fallo en los que se rompen las técnicas actuales de síntesis de medios».

Hoy, DARPA ha anunciado qué equipos de investigación han sido seleccionados para asumir los objetivos de investigación de SemaFor. Equipos de empresas comerciales e instituciones académicas trabajarán para desarrollar un conjunto de herramientas de análisis semántico capaces de automatizar la identificación de medios falsificados. Si se dota a los analistas humanos de estas tecnologías, se dificultará que los manipuladores hagan pasar los medios alterados por auténticos o veraces.

Cuatro equipos de investigadores se centrarán en el desarrollo de tres tipos específicos de algoritmos: de detección semántica, de atribución y de caracterización. Éstos ayudarán a los analistas a comprender el «qué», el «quién», el «por qué» y el «cómo» de las manipulaciones al filtrar y priorizar los medios de comunicación para su revisión. Los equipos estarán dirigidos por Kitware, Inc, la Universidad de Purdue, SRI International y la Universidad de California, Berkeley.

Aprovechando algunas de las investigaciones de otro programa de DARPA, el Media Forensics (MediFor), los algoritmos de detección semántica tratarán de determinar si un medio de comunicación ha sido generado o manipulado. Los algoritmos de atribución tratarán de automatizar el análisis de si los medios proceden de donde dicen originarse, y los algoritmos de caracterización buscan descubrir la intención que hay detrás de la falsificación del contenido.

Para ayudar a proporcionar una explicación comprensible a los analistas responsables de revisar los activos de medios potencialmente manipulados, SemaFor también está desarrollando tecnologías para ensamblar y curar automáticamente las pruebas proporcionadas por los algoritmos de detección, atribución y caracterización. Lockheed Martin – Advanced Technology Laboratories liderará el equipo de investigación seleccionado para encargarse del desarrollo de estas tecnologías y desarrollará un prototipo del sistema SemaFor.

«Cuando se combinen, las tecnologías seleccionadas ayudarán a automatizar la detección de incoherencias en los activos mediáticos multimodales. Imagínese un artículo de prensa con imágenes incrustadas y un vídeo que lo acompaña y que muestra una protesta. ¿Es capaz de confirmar elementos de la ubicación de la escena a partir de indicios en la imagen? ¿El texto caracteriza adecuadamente el estado de ánimo de los manifestantes, en consonancia con las imágenes de apoyo?

En SemaFor, nos proponemos facilitar a los analistas humanos la respuesta a estas y otras preguntas similares, ayudando a determinar más rápidamente si los medios de comunicación han sido falsificados maliciosamente», dijo Turek.

Para garantizar que las capacidades avanzan en consonancia con las posibles amenazas y aplicaciones de los medios de comunicación alterados, o se adelantan a ellas, los equipos de investigación también están trabajando para caracterizar el panorama de las amenazas e idear problemas que se basen en lo que podría hacer un adversario. Los equipos estarán dirigidos por Accenture Federal Services (AFS), Google/Carahsoft, la Universidad de Nueva York (NYU), NVIDIA y Systems & Technology Research.

Google/Carahsoft aportará su perspectiva sobre las amenazas de desinformación para las plataformas de Internet a gran escala, mientras que NVIDIA proporcionará algoritmos de generación de medios y conocimientos sobre el impacto potencial de las próximas tecnologías de aceleración de hardware. La Universidad de Nueva York ofrece un enlace con el NYC Media Lab y un amplio ecosistema de medios de comunicación que proporcionará información sobre el panorama de los medios de comunicación en evolución, y cómo podría ser explotado por los manipuladores maliciosos. Además, AFS proporciona la evaluación, la conectividad y la valoración de la viabilidad operativa de SemaFor en su aplicación al Global Engagement Center del Departamento de Estado, que ha tomado la delantera en la lucha contra la desinformación en el extranjero.

Por último, para garantizar que las herramientas y los algoritmos en desarrollo cuenten con datos de formación amplios y pertinentes, se ha seleccionado a los investigadores de PAR Government Systems para que dirijan los esfuerzos de curación de datos y evaluación del programa. El equipo de PAR se encargará de realizar evaluaciones periódicas a gran escala que medirán el rendimiento de las capacidades desarrolladas en el programa.

Fte. DARPA News

Sé el primero en comentar

Deja tu comentario