londo_05

SOMBRAS VIRTUALES

junio 14, 2015

 

Prueba del funcionamiento de processing.

SOMBRAS VIRTUALES.

UN NUEVO JUEGO PARA   VER LA LUZ.

 

Alejandra Bueno

Institución / Departamento, grupo o centro

 

Resumen

 

En este artículo vamos a analizar la obra de arte interactiva aquí presentada, en su contexto práctico y teórico. Es un trabajo creado desde la investigación que se lleva a cabo sobre el videoarte y performance interactivo actual. Dentro del concepto interactivo, nos ceñimos a aquellas interacciones que son provocadas por el ser humano a través de la tecnología.

Bajo el lema de este congreso, “Luz, más luz”, se ha originado esta obra de arte, que trabaja por medio de sombras. Se trata de una instalación interactiva que emplea el video como medio. En ella el usuario es captado con la cámara y sintetizado en una silueta, que va a ser incrustada en un video que se va a proyectar en la pared, manteniendo una escala 1:1 con el usuario. En este video hay una silueta de una persona que deambula por un espacio, que ha sido grabado previamente, realizando diferentes acciones y a diferentes tiempos. El espectador dependiendo de su ubicación en el espacio y en relación con la del personaje previamente grabado puede modificar la posición de esa silueta dentro del video, generando un juego entre personas que habitan diferentes espacios. El objetivo es que el espectador pueda seguir los pasos de la silueta principal generando un juego de réplicas, que en ocasiones se persiguen, se imitan o simplemente se miran. El espacio que recorren es oscuro y tan solo el espacio que ocupa la silueta queda iluminado.

 

Palabras-clave: INSTALACIÓN, INTERACTIVA, SILUETAS, SOMBRAS, IDENTIDAD

 

Abstract

 

In this article we will analyze the interactive art work presented here in its practical and theoretical context. It is a work created from the research carried out on current interactive video art and performance. Within the interactive concept, we stick to those interactions that are caused by humans through technology..

Under the theme of this conference, “Light, more light” it has caused this artwork,
which works through shadows. This is an interactive installation that uses video as a medium. Here the user is captured with the camera and synthesized into a silhouette, to be embedded in a video that will be projected on the wall, maintaining a 1: 1 scale with the user. In this video there is a silhouette of a person who wanders through an area that has been previously recorded, performing different actions at different times. The viewer depending on their location in space and in relation to prerecorded character can change the position of the figure in the video, creating a game between people living in different places. The objective is that the viewer can follow the steps of the main silhouette creating a set of replicas, which sometimes are following each other, imitate or just look. The walking space is dark and only the space occupied by the silhouette is illuminated.

 

Keywords: INSTALATION, INTERACTIVE, SILHOUETTES, SHADOWS, IDENTITY

1. INTRODUCCIÓN

 

Mediante esta pieza interactiva se explora el espacio virtual mediante el cuerpo y se juega con el “otro yo” generado dentro de las redes virtuales o con el otro individuo que se encuentra en otro espacio pero igual que tú, conectado a la red. Una de las peculiaridades de la obra es el empleo de la sombra como vehículo para la luz, a diferencia de lo que propiamente significa una sombra, que es definida como la supresión de luz, un espacio donde es obstaculizada y se genera oscuridad y falta de visión. En este caso el cuerpo es la luz, es el medio que nos va a hacer ver y que va a aportar color y entendimiento a la vida y sus relaciones con el espacio actual. En virtud de la sombra todos los objetos de la naturaleza asumen forma y contornos, porque si no hubiera sombras todo sería un resplandor plano de luz, color y texturas… Pero cuando la sombra aparece, el objeto toma forma y contorno.

 

CUERPO3

Fig.1: Captura de imagen de la instalación.

 

 


1.1. Contextualización

 

Si tratamos la sombra históricamente, nos sugiere la idea de una réplica del propio ente que se encarga de estar siempre ahí, observando y persiguiendo, en ocasiones algo malo. Encontramos ciertas definiciones sobre el mundo que abarcan el concepto de la sombra y su relación con la realidad o virtualidad de esta.

 

•              El mundo físico o fenomenológico no es la única realidad; existe otra realidad no física. El mundo de los objetos es la sombra proyectada de una realidad superior que no somos capaces de sintetizar por nuestros sentidos.

•              El ser humano refleja la naturaleza de esta realidad de dos caras: mientras el cuerpo material está sujeto a las leyes físicas del nacimiento y la muerte, el otro aspecto de la existencia humana no está sometido a la decadencia o a la pérdida, y es idéntico al intelecto o al espíritu, que es el núcleo del alma humana.

 

La segunda cara del ser humano nosotros la asociamos al aspecto inmaterial de las relaciones con el mundo y la sociedad que se establecen a través de las redes virtuales de la comunicación. Para contextualizar más sobre la sombra recurrimos a C. G. Jung, y sus relaciones con la teoría de la Gestalt. En su ensayo “Sobre la Psicología del Inconsciente”1, publicado en 1917, Jung se refirió a la sombra personal como el “otro en nosotros”; la personalidad inconsciente de nuestro mismo sexo; lo inferior y censurable. Esta idea resuena en nosotros haciéndose visible en el mundo del cine de ficción, en el cual se ha dotado a la sombra de un carácter perverso.

 

Jung plantea, por primera vez en la historia de la psicología, que el inconsciente no era un lugar que solamente desea, sujeto a las represiones del proceso primario, sino un espacio pleno de posibilidades creativas, potencialmente útiles y necesarias para el sistema psíquico. En 1945, Jung definió la sombra como lo que una persona no desea ser.

 

Por parte del campo artístico la sombra ha estado estrechamente relacionada al dibujo y la pintura porque servía para dar volumen a los objetos. A modo de anécdota, en el libro “una breve historia sobre la sombra”, se dice que la pintura fue inventada gracias a ella, al reproducir la silueta que se proyectaba en los muros y que es reproducida por Murillo.

 

Encontramos diferentes artistas que trabajan la sombra desde diferentes perspectivas, los artistas británicos Sue Webster (n.1967) y Tim Noble (n.1966)2 que muestra el arte de la sombra de una manera muy creativa. Una luz se proyecta contra un montón de basura recogida en las calles de Londres y la sombra sobre la pared crea una imagen de la propia pareja de artistas, imagen que no resulta del todo aparente cuando se mira directamente a la pila de basura. Este es un ejemplo de inversión de conceptos, un juego en el que una realidad material se convierte en otra realidad inmaterial. La sombra en este caso es el elemento positivo frente al aspecto negativo que proyecta la masa de basura.

 

Durante el 2013 y el 2014, el Reina Sofia plantea un programa cultural llamado “ actuar en la sombra”3 con obras de la Colección  fechadas en los años 60, un momento en el que los artistas aspiraban a acercar el arte a la propia vida, buscando para ello la implicación y la acción del espectador. Obras de autores como Yves Klein o Michelangelo Pistoletto sirven como punto de partida para que los participantes transiten desde la habitual posición de espectadores a la de actores. Se desarrolla un juego en torno a la dicotomía espectador/actor. En este caso, una propuesta basada en el teatro de luces y sombras canaliza una experimentación con aquello que se puede o no se puede ver y con aquello que nosotros mismos mostramos u ocultamos conscientemente.

Body Movies - Duisburg

Dos de los principales referentes que dan vida a esta obra son Lozano Hemmer con  trabajo interativos como “bajo reconocimiento” (2008)4 y “Space of two categories” (2006)5 de Hanna Haaslahti. Lozano, artista mexicano-canadiense, realiza un ejercicio crítico sobre la vigilancia, haciendo participe al usuario e integrándolo en la obra, donde los transeúntes se detectan mediante un sistema de rastreo computarizado, que activa una serie de vídeo-retratos proyectados dentro de su sombra. En su trayectoria encontramos varias obras que emplean el cuerpo de transeúntes para modificar variables de su obra, casi siempre en el espacio público para provocar el cambio y el despertar en los modos de actuar y vivir en los espacios públicos, nos anima a vivir experiencias de alteración sensorial en las que somos el motor de la obra. El mismo se define como un creador de experiencia performativas y escénicas que animan a la crítica social.

 

Desde la propuesta  Sombras Virtuales, tambien empleamos la sombra como un vehiculo para poder ver a través, pero a su vez es un elemento que interactúa con un un personaje virtual que está dentro de un video, la sombra activa y guia al personaje que tambíen queda representado por su silueta de jando ver a través de ellas el espacio que están recorriendo. Lozano enfrenta al usuario con otras personas que fueron grabadas en video, estos videos se enmarcan dentro de la sombra del usuario que se encuentra en la plaza, enfrentando sus miradas, A medida que el espectador se aleja, el retrato reacciona mirando a otro lado, y con el tiempo desaparece si nadie lo activa. Tecnicamente la obra de Hemmer es monumental y emplea potentes proyectores para iluminar y para proyectar. El autor al igual que Mcluhan se refiere al uso de las tecnologías como una segunda piel como un medio a través del cual pensamos. Lozano muestra con su obra y en sus ensayos la idea de comprender los nuevos medios y la tecnología como el lenguaje de la globalización.6

 

A principios de los 90 el término “posmoderno” se terminó de diluir y estaba claro que

la nueva moda sería hablar sobre lo “virtual”. A esa moda me sumé (…)7

 

Hanna realiza un juego similar en el que la sombra del usuario es invadida por una niña que se mueve por el espacio de la sombra. La instalación se genera a través de computer-vision8, donde una cámara y software monitorea constantemente el área de interés. La cámara y el proyector se colocan detrás de una pantalla de proyección trasera, de modo que la tecnología queda completamente invisible para el público. El software sigue y analiza las sombras de los usuarios que se reflejan en la pantalla de proyección trasera, y luego reproyecta las sombras de vuelta en tiempo real con imágenes de una niña dentro de ellas. Un filtro de infrarojos está unido a la lente de la cámara, esto hace que la proyección de vídeo sea invisible para la cámara y asegura que el reconocimiento se haga correctamente.

 

En nuestro juego de sombras ya se ha establecido que la sombra, lo desconocido…, es el espacio en sí y que solo el lugar ocupado por la persona arroja luz y deja ver el contexto. Una serie de imágenes fantasmagóricas que habitan el mundo virtual donde el espectador es invitado a formar parte del del mismo modo, siendo una silueta más.

 

1.2. Cuestión técnica

 

Para comprender el funcionamiento de la instalación “Sombras Virtuales” se requiere cierta información acerca de las posibilidades que ofrece el medio interactivo a través del video y en concreto mediante el uso de una cámara Kinect, dispositivo creado para jugar a los videojuegos sin necesidad de ningún mando o controlador. Nos da la posibilidad de poder interactuar con nuestro propio cuerpo en el videojuego. En este caso interactuamos con un video.

 

El sensor Kinect posee 2 cámaras de profundidad por infrarrojos y una cámara RGB. Con los datos de profundidad se realiza un seguimiento esquemático de nuestro cuerpo (Skeletal Tracking) para poder sintetizarlo en el ordenador. También tiene una serie de micrófonos para diferenciar el sonido digital y ambiental como el de nuestra voz y una base motorizada para cambiar el ángulo de visión.

 

Estas cámaras utilizan una cámara RGB que obtiene imágenes en color y 2 cámaras de infrarrojos para medir la distancia a la que se encuentran los elementos que están en el campo de visión. Gracias al SDK de Kinect para Windows podemos obtener los datos de las cámaras y trabajar con ellos para utilizarlos en nuestras aplicaciones.

 

En nuestro caso usamos Processing y la librería llamada SimpleOpenNI que nos permite recibir los datos de la cámara Kinect. Realizamos un código que elimina el fondo o todo aquello que está estático en la imagen, para quedarse con la silueta que va a ser mapeada con una imagen. Es decir contamos con tres capas de imagen, la primera es el video del espacio con el personaje realizando las acciones, después tenemos la imagen recibida por la Kinect que nos muestra la silueta en forma de pixeles, nos da un array de enteros, y una imagen del espacio sin personajes nos servirá para mapear los pixeles y convertir está tercera capa en una falsa mascara.

 

Para el manejo del video mediante la posición del usuario se establece una relación de coordenadas teniendo en cuenta la profundidad, gracias a esta relación el usuario controla el video siempre que mantenga cierta distancia con el punto central de la posición del personaje. Se pueden activar al mismo tiempo varios videos dependiendo de la gente que se encuentre en la sala, con un máximo de cuatro videos.

 

1.1.1.  Instalación

 

El espacio ha de ser amplio y oscuro para que la luz no afecte a la proyección. El proyector y la cámara se sitúan en el techo. Es necesario disponer de un punto cercano para la corriente eléctrica. De no ser las paredes blancas hay que disponer una pantalla de proyección. En el siguiente enlace se puede ver el funcionamiento del sketch ejecutado en processing.

http://alejandrabueno.com/sombras-virtuales/

 

 

 

 

 

1.1.2 Código

 

Como hemos mencionado antes emplearemos la librería SimpleOpenIN y también usaremos la librería de video. Para el manejo interactivo del video empleamos un sistema de condicionales. Parte del código se ha tomado de internet, siendo este de código abierto.9

 

 

import SimpleOpenNI.*;import processing.video.*;SimpleOpenNI kinect; 

Movie myMovie, mivideo;

PImage liveMap;

PImage clonedImage;

 

int distance = 1500;

int distance2 = 3000;

 

void setup()

{

size(640, 480, P2D);

kinect = new SimpleOpenNI(this);

if (kinect.isInit() == false)

{

    println(“Can’t init SimpleOpenNI, maybe the     camera is not connected!”);

    exit();

return;

}

kinect.setMirror(false);

kinect.enableDepth();

myMovie = new Movie(this, “otra.mp4″);

myMovie.loop();

myvideo = new Movie(this, “ad.mp4″);

myvideo.loop();

liveMap = loadImage(“cuerpo.jpg”);

}

 

void draw()

{

 

kinect.update();

int[] depthValues = kinect.depthMap();

liveMap.width = 640;

liveMap.height = 480;

liveMap.loadPixels();

 

 

 

 

for (int y=0; y<480; y++) {

for (int x=0; x<640; x++) {

int i= x+(y*640);

 

 

 

 

 

 

 

 

 

int currentDepthValue = depthValues[i];

if (currentDepthValue>distance&&currentDepthValue<

distance2) {

liveMap.pixels[i] = color(255,255,255);

} else {

liveMap.pixels[i] = color(0,0,0);

}

}

}

 

 

liveMap.updatePixels();

liveMap.filter(BLUR, 2);

image(myMovie,0,0);

clonedImage = get();

background(color(0,0,0));

image(myMovie, 0,0);

//tint(255,127);

image(clonedImage,0,0);

clonedImage.mask(liveMap);

}

 

void movieEvent(Movie m) {

m.read();

}

Declaramos las librerías.Declaramos todos los elementos que van a ser usados. Contamos con la cámara, el video, la imagen, y la lista de pixeles con las coordenadas. 

Siguiente establecemos 2 variables de distancia máxima y mínima para adaptarse al entorno y a la sala en la que estemos.

 

 

Dentro de la función de configuración establecemos el tamaño de nuestro lienzo. Entonces inicializamos nuestro objeto Kinect y hacemos algunos ajustes en él: por ejemplo reflejamos la imagen para que dé sensación de espejo.

 

 

 

 

Llamamos a nuestros objetos y les asignamos el modo bucle.

También cargamos una imagen que va a ser sustituida y funcionará como mascara, es importante que tenga el tamaño adecuado.

 

 

Dentro de la función draw, fijamos color de fondo a negro, actualizamos el objeto Kinect y  obtenemos la imagen del mapa de profundidad. Como se puede ver, lo que obtenemos es una matriz. Contiene píxeles, pero sus valores no representan los colores (como en un jpg por ejemplo), pero si las distancias (desde el Kinect, para ser exactos).

Nos preparamos nuestra imagen de la máscara para poder sobrescribir sus píxeles.

Y ahora empezamos el punto interesante. Tenemos una matriz que contiene 307.200 valores de distancia. Uno después del otro. Pero, como sabemos nuestra imagen  consta de 640 columnas y 480 líneas, también podemos deducir que, por ejemplo, el valor de distancia 641a representa el primer píxel de la segunda línea. Así lo hacemos sólo algunos cálculos para ejecutar 480 veces todos los 640 píxeles de la fila correspondiente.

 

A continuación, calculamos el número de píxeles de la matriz y conseguimos el valor de distancia.

Ahora comprobamos si la distancia de este píxel se encuentra en nuestros límites Si es así, vamos a establecer el píxel correspondiente en nuestra imagen de la máscara (que es una matriz, al igual que nuestro depthImage) a blanco. Si no, vamos a ponerlo en negro.

 

 

Entonces actualizamos nuestra imagen de la máscara (“LiveMap”) y estamos listos para utilizarla y dibujamos el video. Luego copiamos la pantalla (lo que el vídeo elaborado) en un PImage vacía y limpiar la pantalla de nuevo. Ahora trazamos la imagen copiada, que vamos a enmascarar.

 

 

 

Finalmente escribimos la función “read” para poner en marcha el video.

 

Referencias

 

Carl Gustav, Jung. 2007. “Sobre la Psicología del Inconsciente” en Dos escritos sobre psicología analítica. Trotta.

Hernandez, Miguel. 2006. “La sombra de lo real, el arte como vomitorio”. Valencia. INSTITUCIO ALFONS EL MAGNANIM.

Under scan, material Audiovisual. 2005. Londres: East Midlands Development Agency. Video. Dirección web: http://www.lozano-hemmer.com/under_scan.php

Bleands, Timo y Webster, Sue, artistas plásticos. “TIM NOBLE & SUE WEBSTER” [accedido 18, 05, 2015]. Dirección web: http://www.timnobleandsuewebster.com/biography.html

Fantomatico,”Space of two categories” [accedido 25,05,2015]. Dirección web: http://www.fantomatico.org/artworks/space/

 

 

Notas

 

1 Carl Gustav, Jung. 2007. “Sobre la Psicología del Inconsciente” en Dos escritos sobre psicología analítica. Trotta.

 

2 Bleands, Timo y Webster, Sue, artistas plásticos. “TIM NOBLE & SUE WEBSTER” [accedido 18, 05, 2015]. Dirección web: http://www.timnobleandsuewebster.com/biography.html

 

3 Actividad educativa dirigida a alumnos de primaria durante el año 2013/2014, en el Reina Sofia. Esta nueva propuesta incorpora varios elementos tomados del trabajo teatral, como son el gesto, el lenguaje corporal, la composición escenográfica y el potencial expresivo de la luz, para utilizarlos con una finalidad educativa. Lo teatral, así, se convierte en  un método que permite a los alumnos vincularse a las obras y generar experiencias a partir de ellas.

 

4 Under scan, material Audiovisual. 2005. Londres: East Midlands Development Agency. Video. Dirección web: http://www.lozano-hemmer.com/under_scan.php

 

5 Fantomatico,”Space of two categories” [accedido 25,05,2015]. Dirección web: http://www.fantomatico.org/artworks/space/

 

 

6 Rafael Lozano Hemmer, entrevista de Priamo Lozada, de la publicación Felix, “Riesgo”, Nueva York, 2003, p. 3

 

7 Rafael Lozano Hemmer «Reflexiones entorno a los cabos sueltos. Diálogo entre José Luis Barrios y Rafael Lozano Hemmer». México, D.F. el 20 de abril 2005, p.

 

8 La visión artificial, también conocida como visión por computador (del inglés computer vision) o visión técnica, es un subcampo de la inteligencia artificial. El propósito de la visión artificial es programar un computador para que “entienda” una escena o las características de una imagen.

 

9 Enlace a la página web del código: http://www.notyet.me/solutions/about.html

Deja un comentario