인터랙티브(interactive) 미디어의 핵심은 현장성(liveness)이다. 미디어로 제대로 상호작용하기 위해서는 현장성과 참여(partici-pation)가 필수적이다. 공연예술, 특히 연극은 상호작용을 위해 사람들이 모이는 공간, 기술, 전문 인력, 배우, 작가, 디자이너, 스토리텔러 등 모든 요소를 갖추고 있다. 인터랙티브는 ‘우리들 사이에 무언가 존재하는 상태’를 의미한다. 이 상태를 전달하는 매체가 인터랙티브 미디어다.
최근의 관심사는 증강현실(AR: Augmented Reality)과 가상현실(VR: Virtual Reality)이다. 이를 섞는 시도를 통칭한 것이 확장현실(XR: eXtended Reality)이다. 지금 사용하는 기기들은 가까운 미래에 안경이나 렌즈 형태로 각막에 부착될 것이다. XR 기술은 세상과 주변 사람들을 새롭게 바라보는 프레임을 제공한다. 눈을 통해 현실을 증강시키거나 가상현실로 만들 때, 시신경과 연결된 도마뱀뇌가 작동한다. 4차 산업혁명의 특징은 실제 세계, 디지털 세계, 생물학적 세계의 조화이다. 북극의 가상현실 장면을 본 화상 환자들의 통증이 완화된 사례를 통해 가상현실을 보는 눈이 약물보다 효과적일 수 있다는 사실을 발견했다.
실험적인 공연에서는 갈수록 예술가와 기술자의 경계가 모호해지고 있다. ‘빌더스 어소시에이션’과 2006년 제작한 <Super Vision>에서는 배우들의 앞뒤에 스크린을 설치했다. 배우들이 공연 중에 카메라를 조작하며 기술자 역할을 한 결과 라이브 영상과 녹화된 영상이 무대 위에서 조화를 이뤘다. 지금은 참여의 시대이다. 능동적으로 이야기에 참여하고 공유하고 선택하기를 원한다. 순서대로 진행되는 익숙한 이야기 구조에서 벗어나 어떻게 관객이 참여하게 할 수 있을까. XR 기술을 활용한 스토리텔링에서는 참여가 핵심이다. 매체는 각각의 참여자가 독특한 방식으로 이야기와 상호작용할 수 있게 해준다. 작가로서의 접근법은 스토리텔링의 일방향성을 없앤 것이다. 관객들의 선택에 반응하고 이야기가 바뀐다. 상호작용하는 이야기는 수직과 수평으로 동시에 흐르고 공간과 시간 속에서 연결된다. 4차 산업혁명은 기술의 출현과 표현 방식의 변화를 가져왔다. XR 기술을 이해하지 못하면 현대의 이야기를 표현할 수 없다. 인터랙티브 스토리텔링은 젊은 층에게 이미 친숙하다. <The Dial>에서는 인터랙티브 스토리텔링과 증강현실, 프로젝션 매핑을 결합했다.
사람들은 큐브 안에서 집과 상호작용하면서 자신만의 시간을 보냈다. 디자인이 단순하고 직관적이어서 어떻게 이야기에 개입해야 하는지 설명할 필요가 없었다. 미래 세대는 디지털 체험을 점점 편안하고 매력적으로 느낄 것이다. 햅틱(haptic) 기술이 좋아지면서 완전히 다른 사람이 되는 것에 감정이입할 수도 있다. 최근에는 이런 이슈를 파고들었다. <The Surrogate>는 360° 비디오로 탐험하는 환경을 만들었다. 관람자는 VR 헤드셋을 착용하고 여주인공의 의식에 빠져든다. 복도를 따라 방 안에 들어가고 직접 결정하고 행동한다. 이야기나 게임에서는 참여자가 가상공간에서 움직이기를 요구한다. 움직이면서 감정을 느끼기 때문에 움직임이 중요하다. XR을 활용하는 예술가는 새로운 디지털 경험을 제공해야 한다. XR 그 이상으로 나아가 보다 정교한 이야기로 접근해야 한다. 지금은 초기 단계로 더 큰 실패를 감수해야 한다. 공연예술에 XR의 핵심 원리인 현장성, 참여, 구현(embodiment)이 갖춰지면 의미 있는 스토리텔링 콘텐츠가 나올 것이다. 인간은 윤리적으로 만들고 이용할 책임이 있다. 지금은 생명이 없다고 여기는 사실이 중요하다. 가상세계의 힘은 너무 강해서 인류에게 손해를 끼칠 수도 있다. 디지털 몰입은 위험한 요소도 잠재되어 있다. 부정적인 요소와 긍정적인 요소가 동시에 존재한다. XR은 단지 우리가 만든 툴이다. 모든 플랫폼에서 이 툴을 더 잘 이해하고 조심히 다뤄야 한다.

4차 산업혁명 시대의 키워드 중 공연예술과 관련해 두 가지에 주목했다. 첫 번째는 가상현실을 통해 무대를 어떻게 표현하고 디지털 기기로 관객들에게 전달할지이다. 두 번째는 ‘연결’이다. 전 세계는 인터넷으로 연결되어 있고 모든 정보가 실시간으로 공유된다. VR과 초연결 시대에 접어들면서 우리가 누릴 수 있는 특권이다. 기업들은 경쟁적으로 플랫폼을 개발하고 디바이스를 출시하고 있다. 가상현실의 시대에는 문화의 형태와 예술언어, 지향점이 바뀌고 있다. 상상과 추리를 기반으로 한 이야기의 시대에서 0과 1 사이에 수많은 언어를 함축한 이미지의 시대, 감각의 시대로 왔다. 인간은 예술작품을 보면 본능적으로 만지고 싶은 충동을 느낀다. VR 기술은 이 감각을 극대화하고 예술을 만져보고 느낄 수 있게 해준다. 4차 산업혁명 시대의 관객들은 예술작품을 통해 상호작용하고 개입하기를 원한다.
공연에 기술이 결합되었을 때 어떤 시너지가 나는지 살펴보자. 2014년 12월 공연된 연극 <혜경궁 홍씨>를 영상으로 제작했다. 사전 제작 기간에 10주 동안 연습실에서 같이 지내면서 연출자의 의도를 파악했다. 촬영은 관객이 없는 상태에서 영화처럼 한 장면씩 나눠서 했다. 관객의 관점에서 앵글을 잡기 위해 배우와 배우 사이에 카메라를 놓았다.
좋은 영상을 만들기 위해서는 기술이 필수적이다. 영상 작가들은 기술보다는 기획에 초점을 맞춘다. 예술가와 공연 관련 공학도는 융합되기 어렵다. 공학도와 같이 고민하고 끊임없이 성실하게 요구하는 방법밖에 없다. 공학도들이 예술가의 요구를 받아들이면 작품의 완성도가 높아진다.
작년에는 뮤지컬 <햄릿> 중 두 개의 넘버를 VR로 촬영했다. 이를 통해 지금까지 수직적이었던 관객과 무대의 관계가 수평적이 될 수 있겠다는 결론에 도달했다. 촬영을 위해 무대를 360°로 재배치하고 연출자와 상의해 배우의 동선을 변경했다. 관객들은 대가를 지불하고 좋은 자리에서 공연을 보고 싶어 한다. VR 촬영을 하면 정해진 프레임을 강요받지 않고 무대라는 큰 프레임 안에서 관객이 주도적으로 선택해서 즐길 수 있다. 이제는 180°의 R석이 360°의 VR석으로 대체될 것이다. 다음 작품으로는 국내 최초로 VR 뮤지컬 영화 <안나, 마리>를 제작해 곧 개봉한다. 스테레오스코픽 3D, 이머시브 오디오 등을 사용하고 다면적인 서사 구조를 적용했다.
공연의 영상화를 위해서는 작품 선정과 극단, 극장, 제작사 간의 협업이 중요하다. 작품에 대한 이해와 연출가와의 커뮤니케이션도 중요하다. 공연의 저작권과 관객의 초상권도 고려해야 하고 실황녹화인지 재촬영인지도 결정해야 한다. 제작비가 안정적으로 수급되지 않는 문제를 해결해야 하고 완성작에 대한 극단과 제작사 간의 수익 분배도 중요하다. 산업적으로는 극단, 극장, 제작사, 유통사, 지원 기관의 협조가 필요하다. 공연의 영상화는 공연예술을 확장하고 새로운 소비층을 형성하며 학술적으로 중요한 작품을 아카이빙하는 역할을 한다.

기조발제 후에는 양정웅 연출가의 사회로 토론이 이어졌다. 먼저 패널로 참여한 김윤성 연구원은 “<Super Vision> 영상을 보면서 공연에 나온 비디오의 성격을 논한 적이 있는데 직접 만든 분의 생각을 듣고 디지털 미디어를 활용한 공연 사례와 접근법을 볼 수 있어 좋았다”고 소감을 밝혔다. 또 한 명의 패널인 오필영 디자이너는 “전통적인 공연 형식을 벗어난 새로운 공연을 만들고 싶은 욕심이 항상 있었다. 영상이 공연의 형식까지 새롭게 바꿔버릴 수 있는 영향력 있는 콘텐츠가 될 것”이라고 평했다.
현장에서 활동하는 예술가로서 느낀 점을 묻자 오필영 디자이너는 “공연 자체가 이야기 전달이 목적이고, 무대 디자인도 그렇다. VR과 같은 기술은 이전에는 인간적이기보다는 기계적인 냄새가 많이 났다. 단지 효과를 위한 기술이라고 생각했다. 결국 인간과의 관계를 위한 것이고 인간을 위한 하나의 도구라고 생각을 달리하게 되었다”고 밝혔다. 이에 피터 교수는 “기술이 인간의 감정을 어떻게 전달하고 연결하는지에 관심이 많다. 이것이 내가 연극을 좋아하는 이유이다. 스토리, 캐릭터, 인간의 감정이 한 공간에 모여 있고 참여자로서 그 안에 들어갈 수 있다”고 덧붙였다.
김윤성 연구원은 “전에는 영화연출을 했고 지금은 VR 콘텐츠를 만드는 연구자이다. 오랜 시간 2D 필름작업을 하다 디지털로 넘어왔다. 영화계에서는 ‘영화는 어디에 있는가’를 논하고 있다. 영화는 단순히 움직이는 이미지였으나 지금은 <The Surrogate>처럼 기존의 영상 문법에 내비게이션 형식이 더해졌다. 어두운 영화관에서 보는 영화로만 정의하기 힘들어졌다. 경계가 흐려지고 매체 간의 혼종이 일어나고 있다”면서 공연예술도 ‘공연예술은 어디에 있는가’라는 질문을 던져봐야 할 것이라고 설명했다. 이에 고충길 대표는 “영화의 언어와 공연의 언어는 다르다. 관객이 어떤 형태로 개입하고 상호작용하는지의 문제이다. 언어와 표현 형식이 달라져도 본질은 달라지지 않는다. 근본적인 것은 관객이 어떻게 받아들일지이다. 앞으로도 표현 형식을 개발하고 여러 형태로 제시해야 한다”고 부연했다.
이어 양정웅 연출가는 “공연예술과 첨단 기술의 의미 있는 결합, 융합의 과정이 필요하다는 의견에는 대부분 동의하지만 아직까지 예술가나 관객은 이 결합을 낯설어하고 거부감을 느낀다”면서 좀 더 자연스럽게 느끼고 대중화되기 위한 방법을 물었다. 피터 교수는 “시대가 변하고 있다. 특히 젊은 세대는 이야기에 직접 관여하고 서로 끊임없이 상호작용하기를 원한다. 다른 사람들과 한 공간에 함께 있는 경험이 가장 중요하다. 연극이 XR과 잘 어울린다고 생각하는 이유”라고 강조했다.
다음은 문자메시지로 전달된 관객들의 질문에 답하는 차례였다. 융합기술을 활용하는 공연을 연습하는 과정이 궁금하다는 질문에 피터 교수는 “미디어 작업의 경우 스튜디오에 프로젝터와 카메라를 설치해놓고 실험을 계속한다. 콘텐츠를 만들고 시도하면서 새롭고 특별한 것을 찾아 나간다. 무대에 아이디어를 그대로 옮기는 것은 불가능하다. 발견해나가는 과정이 중요하다. 그 과정 속에서 변하고 점차 작동한다. VR은 더 복잡하다. 미리 볼 수 없기 때문에 믿음을 가져야 한다. 방 안에 카메라를 두고 촬영하고 모니터를 통해 확인한다. 화면을 보면서 제대로 작동하고 있는지 판단하고 장면을 선택해 스튜디오에 돌아가서 각각의 이미지를 결합한다”며 복잡한 과정을 소개했다.
컨퍼런스를 마무리하며 오필영 디자이너는 “지원사업에 참여하면서 지금까지 생각해왔던 공연과 앞으로 달라질 방향, 아직 보지 못한 새로운 무언가에 대해 많은 고민을 했다. 아마 모든 창작자들의 고민일 것이다. 기술은 예술을 표현하는 데 꼭 필요한 것”이라며 앞으로도 관심을 놓지 않겠다는 의지를 표현했다.
김윤성 연구원은 “디지털 기술이 창작 과정에 들어오면서 결과물이 초라해지거나 원래 생각한 이미지와 달라지는 현상을 겪는다. 공연예술에 기술이 들어왔을 때 사람들이 느끼는 불편함과 낯섦의 정체가 무엇이고 이를 어떻게 극복할지 창작자들은 고민하고 있다”면서 창작자로서의 의견을 피력했다. “연극은 그 자체로 모사가 아닌 기호의 예술이다. 여기에 기술이 들어가면서 많은 창작자들이 기호로 상상하던 사물을 사실적으로 재현하는 것에만 초점을 맞춘다. 그러면서 애초에 공연이 지닌 축제와 제의적인 성격이 사라지는 것을 본다. 좀 더 다성적인 목소리를 내고 자기 것을 표현하는 언어로 이용한다면 4차 산업혁명의 프레임에 갇히지 않고 슬기롭게 작업해나갈 수 있을 것이다.”
발제를 한 피터 교수는 “‘왜 기술을 예술에 이용하는가’라는 질문은 앞으로도 계속될 것이다. 감정을 표현하기 위해 불타는 장작으로 동굴 벽에 그림을 그린 것이 기술과 예술의 첫걸음이다. 전통예술의 형식에서는 끊임없이 기술을 이용하며 발전해왔다. 200년 후, 디지털 기술을 이용하는 우리를 보면 지루하게 생각할지도 모른다. 개인적으로 새로운 기술의 활용을 중요하게 생각한다. 지금도 실험하고 있고 앞으로 더 다양하게 변할 것이다. 우리는 새로운 규범을 써내려가는 중이다. 좋은 선택을 하길 바란다”는 당부로 끝을 맺었다. 고충길 대표는 “공연을 영상으로 옮겨 관객에게 전달하는 역할을 하지만 공연에서 느끼는 몰입감은 현장보다 깊을 수 없다. 4차 산업혁명의 첨단 요소가 동원되어도 실제 공연을 대신하지는 못한다. 만들어진 공연을 잘 전달하는 안내자 역할을 충실히 하겠다”는 다짐을 전했다.
마지막으로 양정웅 연출가는 “오늘 많은 영감과 화두를 얻어갔으면한다. 서로 의미 있는 작업으로 다시 만나길 바란다”는 소망을 전했다. 첨단 기술과의 결합을 통해 전통적인 공연예술의 형식과 시·공간의 제약을 벗어난 색다른 형태의 작품이 더 많이 창작되기를 기대한다.