Imagen cortesía de UCLA School of Theater, Film and Television / UCLA REMAP

Compilar un mundo alternativo en realidad aumentada: UCLA redefine el teatro con Unreal Engine

2 de noviembre de 2022
¿Qué harías si tuvieses la oportunidad de redefinir una de las historias distópicas más famosas del mundo? La respuesta es muy sencilla para un equipo de estudiantes y personal del Center for Research in Engineering, Media and Performance (REMAP) de la UCLA, que aloja una mezcla única de estudiantes de teatro e ingeniería: trabajar.

Con la ayuda de Unreal Engine, decidieron producir una función de teatro original ambientada en el mundo de la serie de streaming de Amazon Studios El hombre en el castillo, a pesar de tener que enfrentarse a los desafíos de una pandemia mundial. El resultado fue una impresionante producción en realidad aumentada, destinada a cambiar la experiencia del público de los teatros de la UCLA en años futuros. 
 
 

Preparación de la escena

«Nos empezó a interesar la RA porque se ajusta a nuestros principios», afirma la codirectora de la producción, Mira Winick. «REMAP se creó para fomentar la creatividad y la innovación colaborativa entre los estudiantes y profesores. Con la RA, el público también podría participar. Los estudiantes, profesores y miembros del público podrían compartir una experiencia única en un espacio no físico. Sabíamos que sería un medio excelente para el arte con mensajes y, al momento, decidimos crear nuestro siguiente proyecto en base a él».

Con una narrativa centrada en líneas de tiempo solapadas y temas sociopolíticos proféticos, una historia original ambientada en el mundo de El hombre en el castillo parecía la dirección perfecta en la que llevar el proyecto de RA. Tras soñar con una reinvención única de la novela de 1962 de Philip K. Dick, REMAP comenzó a buscar patrocinadores y solicitó una MegaGrant de Epic.

El planteamiento era una obra de teatro inmersiva con RA ambientada en el mundo de El hombre en el castillo en la que el público contaría con una aplicación de RA llamada El saltamontes se ha posado que le permitiría ver una historia paralela que se desenvuelve en otra línea de tiempo. Por ejemplo, el público puede ver directamente a los actores que interpretan la opresiva realidad en la que las potencias del Eje ganaron la Segunda Guerra Mundial y usar los dispositivos de RA para echar un vistazo a un mundo más similar al nuestro, en el que las protestas contra el fascismo siembran la esperanza de un futuro mejor.
Imagen cortesía de UCLA School of Theater, Film and Television / UCLA REMAP
La MegaGrant no solo le permitió al equipo explorar la RA en Unreal Engine, sino que también le proporcionó los recursos necesarios para desarrollar varias plantillas de complementos de Unreal Engine que permitiesen a los estudiantes trabajar de forma colaborativa sin tener que estar en el mismo lugar. Gracias a eso, el equipo pudo comenzar a compilar componentes de RA y previsualización tanto en dispositivos móviles como de áreas de trabajo. Cuando se completó la arquitectura del complemento, pudo comenzar la producción del proyecto, titulado A Most Favored Nation.
 

Momento Unreal

Primero, se seleccionó un pequeño grupo de estudiantes de la UCLA para definir el concepto junto con miembros del profesorado con experiencia e invitados que incluyen uno de los diseñadores de la producción original de la serie El hombre en el castillo. Aunque no se trata de un programa académico, los proyectos de vanguardia de REMAP dan a los estudiantes la oportunidad de unirse a cursos relacionados en distintos puntos del proceso, lo que les permite refinar sus capacidades y prepararse para trabajar en los sectores correspondientes. 

Para A Most Favored Nation, REMAP invitó a estudientes de todas las disciplinas del teatro: la dirección, la escritura, el diseño, la administración de escenarios, la actuación y los Doctorados de estudios críticos, que tendrían papeles importantes para la producción. «Tuvimos cinematógrafos de nuestro programa de cine que nos dieron consejo sobre el aspecto visual, estudiantes de diseño que compilaron un prototipo del dispositivo de RA Saltamontes, y uno de los escritores procedía del programa de Máster en Bellas Artes de redacción de guion», añade el cofundador de REMAP, Jeff Burke. «También hubo estudiantes que ayudaron con el software de la producción e incluso usaron Unreal Engine».
Imagen cortesía de UCLA School of Theater, Film and Television / UCLA REMAP
Aunque REMAP ya había usado Unreal Engine 2.0 para una producción de teatro en directo en 2006, al equipo le pareció que Unreal Engine 4.24 era mucho más accesible que las versiones anteriores, por lo que estudiantes sin apenas experiencia en su uso pudieron conocer sus capacidades. «Cuando se concibió A Most Favored Nation, se decidió que Unreal Engine proporcionaría el rendimiento, las funciones y la estabilidad necesarios para incorporar elementos de RA», afirma Burke, que explica que la producción fue parte de un conjunto de actividades centradas en el uso de Unreal Engine en la UCLA, que incluían cursos de previsualización cinematográfica, interpretaciones virtuales remotas durante la pandemia y entornos de aprendizaje inmersivos.
Imagen cortesía de UCLA School of Theater, Film and Television / UCLA REMAP
«Los blueprints fueron fantásticos para que REMAP pudiese invitar a personas sin experiencia en código a usar el motor», explica Burke mientras habla de sus funciones de Unreal Engine favoritas para el proyecto. «La exposición de la cámara de acceso directo de RA y las máscaras de oclusión dentro del sistema de materiales también tuvieron un papel fundamental para crear el aspecto deseado». 

REMAP hizo toda la composición de plano de vídeo en directo, lo que significa que se podría usar el mismo enfoque con vídeos en directo o de red y planos de vídeos grabados previamente. «El equipo tomó prestado el compositor Composure tras haber desarrollado el suyo anteriormente», indica Burke, «tener un sistema de codificación de alta calidad en tiempo real facilitó bastantes cosas y dio un mejor aspecto a otras, incluso con un tiempo limitado».

La arquitectura del complemento de Unreal Engine también les permitió a Burke y al desarrollador principal, Peter Gusev, desarrollar componentes reutilizables. Este enfoque no solo les ahorró un tiempo valioso, sino también les permitió pedir a los estudiantes que trabajasen en complementos para tareas específicas, como relocalización de referencia, la función del plano de vídeo y el control OSC externo. Como cada componente se basa en el mismo código de plantilla, los estudiantes pudieron generar sus propios complementos mediante el uso de scripts de bash.
 

Una nueva realidad

Trabajar con tecnología de RA también implica que el equipo pudo trabajar en el espectáculo incluso durante la pandemia. Con una buena organización en subniveles, una gestión cuidadosa de los recursos y un énfasis en el uso de complementos, REMAP pudo garantizar un flujo de trabajo colaborativo con un equipo remoto. Cuando la pandemia de COVID-19 se propagó por el mundo, no pudo evitar que el equipo construyese los decorados o diseñase el espectáculo. Crearon una simulación completa sin poner un pie en el escenario. Incluso pudieron hacer pruebas con actores, ya que se grabaron a sí mismos en casa y luego los colocaron en el entorno virtual.
Imagen cortesía de UCLA School of Theater, Film and Television / UCLA REMAP
En medio de la pandemia, el amplio proceso de previsualización necesario para producir una excelente RA también implicaba que el equipo entendía cómo interactuarían los elementos 3D con los reales sin tener que acceder físicamente al escenario. Cuando el equipo pudo acceder a él, solo tuvo que confirmar que todo funcionaba como espereaba en lugar de diseñar todo desde cero.

«La previsualización se volvió esencial, tanto desde el punto de vista del distanciamiento social como del de la accesibilidad», afirma el diseñador de iluminación Ben Conran, que también fue ingeniero de Unreal en el proyecto. «Dependimos mucho de mostrar la RA mediante previsualizaciones a los directores y miembros del reparto que no podían estar en el esapacio de interpretación, o bien para evitar un procedimiento de compilación si había poco tiempo. Al grabar el metraje en pantalla verde de lo que serían las actuationes en RA del actor, la previsualización en tiempo real nos permitió ajustar la iluminación para adaptarnos al tono de los espacios de RA y darle al director una oportunidad de editar y refinar las actuaciones en vivo, durante el rodaje».
Imagen cortesía de UCLA School of Theater, Film and Television / UCLA REMAP
También había un pequeño problema: adaptar la interpretación en directo a las restricciones de la pandemia, que no permitían que se reuniesen muchas personas. Tras debatirlo mucho, los estudiantes decidieron grabar cada escena de directo a grabación con varios teléfonos del público y dieron la opción al siguiente público de lo que querían ver, como hicieron en la obra. Después, documentaron la obra como una transmisión en vídeo interactiva que permitía al espectador elegir qué cámara del público ver.
Después, toda la acción se desarrolló en un gran escenario de teatro que se había configurado como un estudio de sonido. Cada trama tenía un escenario físico diferente, en algunos casos dos, con una RA correspondiente que permitía que se mostrasen distintas líneas de tiempo al público en el mismo espacio, sin que la gente viese ni escuchase lo mismo.

El enfoque de directo a grabación implica que las escenas no se reproducían de forma concurrente, sino que la intención era usar una instalación estándar y técnicas de teatro para aislar el sonido, que llevaba al público a las escenas de interludio en las que podían elegir dónde volver a la historia.
 

Empieza el espectáculo

Al final, el público del espectáculo consistía en personas que lo conocían porque se encontraban dentro de su burbuja de contactos durante la COVID, y de invitados que no conocían la obra pero acudieron a participar en el proceso de grabación a partir de directo. «Una opinión común fue que la experiencia en directo resultó muy atractiva y muy difícil de transmitir en diferido, por mucho que lo intentásemos», añade Burke.

A pesar de admitirlo, Burke también reconoce que la distancia obligatoria entre las actuaciones en directo y RA añadían una atractiva capa emocional al espectáculo, y que la impresión de dos mundos separados se convirtió en una temática realista. Por supuesto, dar un buen espectáculo no era el único objetivo del equipo. También querían descubrir el impacto que tendría la integración de RA en una historia en el proceso creativo y la experiencia del público. Sacaron tres conclusiones clave.

La primera es que está claro que se puede integrar la RA de manera eficaz en actuaciones inmersivas y ofrecer un enfoque novedoso e interesante que cautiva al público. La tecnología parece ser suficiente para ofrecer experiencias comerciales en unos años. La segunda es que REMAP descubrió que los resultados del trabajo y las múltiples conversaciones con los participantes en el proyecto validaron el beneficio de que esta tecnología exista de alguna forma tanto en el mundo ficticio como el real. Esto resultó esencial para la obra, relevante para los personajes y más que un simple truco.
 
Imagen cortesía de UCLA School of Theater, Film and Television / UCLA REMAP
Por último, llegaron a la conclusión de que este formato generó una gran cantidad de debates e ideas sobre el equilibrio de una trama lineal que progresa de una forma emocionante e interesante para el público. Esto permite oportunidades de exploración.

«Crear un proyecto con Unreal Engine difumina la línea entre el teatro, los videojuegos, el cine y el vídeo, de forma que se crea una experiencia multiplataforma y multiusuario», afirma Burke. «Nos ha dado una maravillosa combinación de sofisticación y accesibilidad que REMAP va a adoptar para muchos tipos de proyectos a largo plazo». 

Ahora, Burke tiene permiso para adaptar la novela ganadora de un premio Hugo La ciudad y la ciudad a un proyecto de teatro inmersivo y de RA en la UCLA. De forma similar a A Most Favored Nation, en este proyecto colaborarán profesores y estudiantes. El plan consiste en crear elementos RA y totalmente reales dentro de Unreal Engine.

«La idea de tener un único entorno que ofrece una visibilidad selectiva de distintos elementos en función de si te encuentras en un área de trabajo de previsualización, si usas un dispositivo móvil de RA o si empleas algún otro dispositivo de participación significa que podemos improvisar nuevos flujos de trabajo y resolver problemas rápido», añade Burke. «Pudimos trabajar con una mayor eficiencia y el público pudo compartir un nuevo mundo paralelo con nuestros personajes, e incluso tomar decisiones en él. No puedo imaginar trabajar de otro modo. Fue una experiencia atractiva e inmersiva, y me han dicho más de una vez que era algo totalmente novedoso».
 

    ¡Hazte ya con Unreal Engine!

    Descubre la herramienta de creación más accesible y avanzada del mundo.
    Unreal Engine incluye todas las funciones y acceso ilimitado al código fuente.
    ¡Listo para usar!