A Shadow of a Man in the Mirror presents
stills taken from the 1934 experimental film
Hands captioned with “subtitles” created
using image-to-text software. The captioning
program, NeuralTalk, is one of the first machine
vision models designed to write sentences
that describe images’ contents rather than
simply identifying the objects present within
them. This book exposes the limits of object
recognition technologies; the inaccurate
outcomes make explicit the unstable relation
between images and what they are deemed
to represent. An accidental poetry often arises
from the erratic space of the machine. This
book explores the transferability of meaning—
or, rather,the impossibility thereof—between
text and image, and the reproduction of
bias-laden classifications in machine vision.
The relatively recent ability for computers
to segment and operationalize visuals as
textual data has marked a major shift in image
analysis. But in the cases illustrated here, its
anthropocentric mischaracterizations point to
the limits of computer vision when confronted
with information that falls outside of a specific
worldview determined by its training datasets.
A Shadow of a Man in the Mirror presenta
fotogramas tomados de la película experimental
de 1934 Hands subtitulados con «subtítulos»
creados mediante un software de conversión
de imagen a texto. El programa de subtitulación,
NeuralTalk, es uno de los primeros modelos de
visión artificial diseñados para escribir frases que
describan el contenido de las imágenes en lugar
de limitarse a identificar los objetos presentes
en ellas. Este libro expone los límites de las
tecnologías de reconocimiento de objetos; los
resultados inexactos hacen explícita la inestable
relación entre las imágenes y lo que se considera
que representan. Una poesía accidental surge
a menudo del espacio errático de la máquina.
Este libro explora la transferibilidad de significado
-o, más bien, la imposibilidad de transferirloentre
texto e imagen, y la reproducción de
clasificaciones cargadas de prejuicios en la visión
artificial. La capacidad relativamente reciente de
los ordenadores para segmentar y operacionalizar
imágenes como datos textuales ha supuesto un
cambio importante en el análisis de imágenes.
Pero en los casos que aquí se ilustran, sus
caracterizaciones antropocéntricas erróneas
señalan los límites de la visión por ordenador
cuando se enfrenta a información que queda fuera
de una visión específica del mundo determinada
por sus conjuntos de datos de entrenamiento.