¿Cómo la inteligencia artificial ve a través del espejo?

Las cosas son diferentes al otro lado del espejo.

El texto está al revés. Los relojes funcionan en sentido antihorario. Los automóviles circulan por el lado equivocado de la carretera. Las manos derechas se convierten en manos izquierdas.

Un equipo de investigadores de la Universidad de Cornell utilizó la inteligencia artificial para investigar que diferencia a los originales de sus reflejos. Sus algoritmos aprendieron a captar pistas inesperadas como partes del cabello, dirección de la mirada y, sorprendentemente, barbas, hallazgos con implicaciones para el entrenamiento de modelos de aprendizaje automático y la detección de imágenes falsas.

«El universo no es simétrico. Si se voltea una imagen, hay diferencias», dijo Noah Snavely, profesor asociado de ciencias de la computación en Cornell Tech y autor principal del estudio, «Visual Chirality», presentado en la Conferencia 2020 sobre Visión por Computadora. y Reconocimiento de patrones, realizado virtualmente del 14 al 19 de junio.

 «Estoy intrigado por los descubrimientos que puede hacer con nuevas formas de obtener información».

Zhiqui Lin es el primer autor del artículo;los coautores son Abe Davis, profesor asistente en informática y el investigador postdoctoral de Cornell Tech, Jin Sun.

Diferenciar entre imágenes y reflejos es una tarea sorprendentemente fácil para la inteligencia artificial, dijo Snavely: un algoritmo básico de aprendizaje profundo es capaz de aprender rápidamente como clasificar si una imagen se ha volteado con una precisión del 60% al 90%, dependiendo del tipo de imágenes utilizadas para entrenar el algoritmo. Muchas de las pistas que capta son difíciles de percibir para los humanos.

Para este estudio, el equipo de investigadores desarrolló tecnología para crear un mapa de calor que indica las partes de la imagen que son de interés para el algoritmo, para obtener información sobre como toma estas decisiones.

Descubrieron, sin sorprenderse, que la pista más utilizada era el texto, que se ve diferente al revés en cada idioma escrito. Para obtener más información, eliminaron imágenes con texto de su conjunto de datos, y descubrieron que el siguiente conjunto de características en las que el modelo se enfocaban era en: relojes de pulsera, collares de camisa (los botones suelen estar en el lado izquierdo), caras y teléfonos, que es lo que la mayoría de las personas suelen llevar en sus manos derechas, así como otros factores que revelan la diestra.

Los investigadores estaban intrigados por la tendencia del algoritmo a enfocarse en las caras, que no parecen obviamente asimétricas.

“De alguna manera, dejo más preguntas que respuestas”, dijo Snavely.

Luego llevaron a cabo otro estudio centrado en los rostros y descubrieron que el mapa de calor se iluminaba en áreas como la parte del cabello, la mirada, la mayoría de las personas, por razones que los investigadores no conocen, miran a la izquierda en fotos de retratos y barbas.

Snavely dijo que él y los miembros de su equipo no tienen ni idea de que información está encontrando el algoritmo en las barbas, pero plantearon la hipótesis de que la forma en que las personas se peinan o se afeitan la cara podría revelar la mano.

“Es una forma de descubrimiento visual”, dijo Snavely.

 “Si puede ejecutar el aprendizaje automático a escala en millones y millones de imágenes, tal vez pueda comenzar a descubrir nuevos hechos sobre el mundo”.

Cada una de estas pistas individualmente puede no ser confiable, pero el algoritmo puede generar una mayor confianza al combinar múltiples pistas.

Los investigadores también encontraron que el algoritmo utiliza señales a bajo nivel, derivadas de la forma en que las cámaras procesan las imágenes, para tomar sus decisiones.

Aunque se necesita más estudio, los hallazgos podrían afectar la forma en que se entrenan los modelos de aprendizaje automático. Estos modelos necesitan un gran número de imágenes para aprender a clasificar e identificar imágenes, por lo que los informáticos a menudo usan reflejos de imágenes existentes para duplicar efectivamente sus conjuntos de datos.

Examinar cómo estas imágenes reflejadas difieren de las originales podría revelar información sobre posibles sesgos en el aprendizaje automático que podrían conducir a resultados inexactos, dijo Snavely

«Esto lleva a una pregunta abierta para la comunidad de visión por computadora, que es, ¿cuándo está bien hacer este cambio para aumentar su conjunto de datos, y cuándo no está bien?» él dijo.

 «Espero que esto haga que la gente piense más sobre estas preguntas y comience a desarrollar herramientas para comprender cómo está sesgando el algoritmo».

Comprender como la reflexión cambia una imagen también podría ayudar a usar la inteligencia artificial para identificar imágenes que han sido falsificadas o manipuladas, un tema de creciente preocupación en internet.

La investigación fue apoyada en parte por los filántropos Eric Schmidt, ex CEO de Google, y Wendy Schmidt.