Una nueva herramienta desarrollada por los investigadores de USC Engineering genera indicadores automáticos si percibe que los datos y las predicciones generadas por los algoritmos de IA son confiables.
Este trabajo de investigación, llamado, “Hay esperanza después de todo: cuantificación de la opinión y la confiabilidad en las redes neuronales” de Mingxi Cheng, Shahin Nazarian y Paul Bogdan del Grupo de Sistemas Físicos Cibernéticos de la USC, fue presentado en Frontiers in Artificial Intelligence.
Las redes neuronales son un tipo de inteligencia artificial que se modela a partir del cerebro y genera predicciones. Pero ¿Podemos confiar en las predicciones que generan estas redes neuronales? Una de las barreras clave para la adopción de automóviles autónomos es que los vehículos deben tomar decisiones independientes en el piloto automático y ser capaces de reconocer rápidamente los objetos/personas de la carretera y tomar una decisión rápida y efectiva.
Hay varias cuestiones que nos vienen a la cabeza sobre este tipo de decisiones automáticas:
¿Debería el coche chocar contra el vehículo que se aproxima, o girar bruscamente y chocar con lo que el vehículo percibe como un objeto inanimado o un niño?
¿Podemos confiar en el software informático dentro de los vehículos para tomar decisiones acertadas en fracciones de segundo?
El autor principal, Mingxi Cheng, se sintió impulsado a trabajar en este proyecto a raíz de este pensamiento:
“Incluso los humanos pueden ser indecisos en ciertos escenarios de toma de decisiones. En casos que involucran informaciones contradictorias, ¿Por qué las máquinas no pueden decirnos cuando no saben?”
Una herramienta que crearon los autores llamada DeepTrust puede cuantificar la cantidad de incertidumbre”, dijo Paul Bogdan, profesor asociado en el departamento de Ingeniería Eléctrica e Informática de Ming Hsieh y autor correspondiente, y, por lo tanto, si es necesaria la intervención humana.
El desarrollo de esta herramienta le llevó al equipo de investigación de la USC casi dos años empleando lo que se conoce como lógica subjetiva para evaluar la arquitectura de las redes neuronales. En uno de sus casos de prueba, las encuestas de las elecciones presidenciales de 2016, DeepTrust encontró que la predicción que apuntaba a la victoria de Clinton tenía un mayor margen de error.
La otra importancia de este estudio es que proporciona información sobre como probar la confiabilidad de los algoritmos de la IA que normalmente se entrenan en miles o millones de puntos de datos. Sería muy lento comprobar si cada uno de estos puntos de datos que informan las predicciones de la IA estuviera etiquetado con precisión. Bogdan señala que si los científicos informáticos quieren maximizar la precisión y la confianza simultáneamente, este tipo de trabajo podría servir como guía sobre cuanto “ruido” puede haber en las muestras de prueba realizada por estos sistemas de redes neuronales.
Los investigadores creen que este modelo es el primero de su tipo. Dice Bogdan:
“Hasta donde sabemos, no existe un modelo o herramienta de cuantificación de confianza para el aprendizaje profundo, la inteligencia artificial y el aprendizaje automático. Este es el primer enfoque y abre nuevas direcciones de investigación”.
Añade que esta herramienta tiene el potencial de hacer que la “inteligencia artificial sea consciente y adaptable”.
AIDungeon: El juego con posibilidades infinitas
Las nanoprobianas serán un gran avance para las interfaces hombre-máquina
