* 본 원고는 2020년 7~12월 고등과학원 초학제연구단의 지원을 받은 'Inter-Reality 관점의 AI 사운드스케이프 기반 뉴미디어 아트웍 <Mixed Scape> 구현'의 연구/작업 과정에서 작성되었습니다.

폴리사운드는 어떻게 AR적 특성을 획득하여 리얼리티에 영향을 주는가

: 코스프레에서 재창조된 폴리사운드를 중심으로

작성자: 배준형

          본 작업은 폴리사운드가 AR적 특성을 획득하고 리얼리티에 영향을 미치는 경우를 탐구하여 문화적 인터페이스로 제시하는 것을 목표로 한다. 폴리사운드가 AR적 특성을 획득하는 순간은 2가지이다. 첫번째는 메인-프로덕션 단계를 거쳐 만들어진 영상물의 어떤 장면에 귀속된 소리를 포스트-프로덕션 단계에서 증강시키는 순간이다. 두번째는 코스플레이어가 원작에 종속된 폴리사운드를 코스프레의 감각/개념적 퀄리티를 증강하는 폴리사운드로 재창조하는 순간이다. 후자의 경우 방법론이 고도화될수록 현실/가상적 공간에서 실재가 교차감각되는 순간이 생생하게 구현된다. 이러한 문제적 구조체를 탐구하기 위해 폴리사운드가 주체인 아카이브 영상을 제작했고, 작업에 대한 소고를 족자봉의 형식으로 제시했다.

증강현실(Augmented Reality)은 현재(presence)라는 시간과 장소(place)라는 특정한 위치나 환경을 미디어적 매개로 재구성함으로써 증강 개념을 제고하고 사용자의 경험 및 욕구의 새로움을 창출한다.[1] 현재 증강현실 기술의 대부분은 현실 세계에 어떤 정보를 부여하고 사용자에게 이를 전달하는 방식으로 실현되고 있다.[2] 넓은 의미에서 보면 증강현실은 ‘물리적 현실 안에서 가상이 실재와 통합됨을 경험하는 것’이다. 이 때 현실의 공간에 가상의 대상물이 구현됨으로써 현실의 이미지와 가상의 이미지 이 둘은 서로 중첩되고, 동시에 현실과 가상이미지에 의한 미묘한 차이가 발생한다.[3]

          본 작업에서는 이와 같은 AR의 지각방식 구조를 폴리사운드의 특성을 분석하기 위한 개념적 기반으로 활용한다. 폴리사운드는 일반적으로 포스트-프로덕션 단계에서 화면에 맞춘 소리를 녹음하고 입히는 것을 지칭한다. 재킷 잠그는 소리부터 커피 머그잔을 내려놓는 소리까지 영화, TV쇼, 애니메이션, 비디오 게임 등에서 들은 소리는 포스트-프로덕션 단계에서 그 장면만을 위해 만들어진 가능성이 높다. 음향 효과 라이브러리에서 잘라내는 대신 직접 녹음하기 때문에 일반 음향효과(SFX)와는 구별된다. 음향 효과 제작자 Gregg Barbanell은 “폴리 아티스트가 일을 제대로 했다면 관객은 폴리의 존재를 알아채지 못하는 것이 당연합니다.”라고 말했다.[4] 그의 말을 통해 폴리사운드가 어떤 장면에 종속된 소리를 증강하여 관객의 불신을 멈추는 역할을 맡고 있다는 점을 알 수 있다. 그렇다면 폴리사운드는 포스트-프로덕션 단계에서 AR적 특성을 획득하고 있는 것일까? 이에 대해 논하기 위해서는 메인-프로덕션 단계에서 만들어진 영상물이 현실성을 획득하고 있는지 짚어봐야한다.

          프랑스 미디어 철학자 피에르 레비(Pierre Levy)는 가상성의 개념을 질 들뢰즈(Gilles Deleuze)로부터 차용해오며, ‘가상(virtual)’과 대립되는 개념은 ‘실재(real)’가 아닌 ‘현실(actual)’이라고 말한다.[5] 따라서 가상은 현실적인 것이 아닌, 잠재적인 힘으로만 존재하는 것으로 현실 세계에서 경험하는 것처럼 복합적이고 여러 상황과 사건 또는 주변 사물에 의해 발생하며 이를 통해 현재화(actualization)된다고 설명한다. 즉, 가상은 현재화의 무한한 원천으로 그 자체가 특정 장소 혹은 시간과 관련되지 않은 ‘탈영토적’인 ‘현실체’이며, 가상 이미지는 현실적인 존재 속 가능성의 상태로 있거나 현실화의 모든 조건을 자신 안에 지니고 있는 이미지가 된다.[6] 다시 말해 디지털 이미지의 가상성은 실재와 대립되는 것이 아니라 그것을 경험하는 지각 주체와의 상관관계 속에서 현실화될 수 있는 것이다. 이 때문에 메인-프로덕션 단계에서 만들어진 영상물은 현재화된 가상이다. 프리/메인/포스트-프로덕션이라는 영화 작업 단계의 구분에서 확인할 수 있듯이, 각 작업단계는 어떤 조건을 충족하면 종료된다. 다시 말해 어떤 작업 단계에 참여한 사람들은 작업을 마무리하기 위한 사건을 발생시킨다. 이 때문에 메인-프로덕션 단계에서 제작된 영상물은 현재화된 가상이 되는 것이고, 포스트-프로덕션 단계에서 폴리사운드를 제작해야하는 폴리 아티스트에게는 해당 영상물이 현실로서 여겨진다. 다시말해 폴리 아티스트와 영상물의 상관관계 속에서 폴리사운드는 영상물(현실)을 증강시키는 가상의 특성을 획득하는 것이다. 이와 같은 일련의 과정을 통해 폴리사운드는 포스트-프로덕션 단계에서 AR적 특성을 획득한다. 그런데 특정한 조건에서 폴리사운드는 다른 층위의 AR적 특성을 획득하기도 한다.

          인간들이 영화나 드라마, 다큐멘터리 등 오랜 시간 시청각 매체를 시청하며 학습한 폴리사운드는 사회에서  실재하고 있다. 이러한 폴리사운드는 물리적 공간에서 자아를 표출하는 도구로 활용될 때 새로운 AR적 특성을 획득한다. 다시말해, 인터-리얼리티라는 관점에서 현실/가상적 공간에서의 폴리사운드가 교차감각되는 순간 다른 개념적 층위의 AR적 특성이 발생한다. 현실 세계에서 현실과 가상이 중첩되는 공간이 드러나는 곳 중 하나는 코스플레이어(costume player)들의 현장이다.

          코스프레(cosplay)는 의복(costume)과 놀이(play)를 합성한 단어로서 일본에서 생성된 단어이다.[7] 현대적인 의미에서의 코스프레는 1908년 미국신문에 연재된 SF만화의 주인공을 따라한 것으로 간주된다. 별개로 일본에서는 1978년 일본 SF 대회에서 판타지 동호회 회원들이 만화 표지 일러스트를 따라한 것을 계기로 코스프레 행사인 코믹마켓이 개최되기 시작하면서 코스프레가 활성화된 것으로 보기도 한다.[8] 코스프레의 기원은 일반적으로 고대 로마시대의 가장 행렬과 같은 제의에서 비롯된 것으로 여겨진다. 고대 제의는 로마 카톨릭 국가에서 진행된 카니발에서도 찾아볼 수 있다. 카니발 기간에는 환상적인 복장을 착용한 대규모 가면 행렬과 풍자적인 연극이 개최된다. 환상적인 복장의 착용은 현재 할로윈에서도 찾아볼 수 있는 특성이다.[9] 이를 통해 코스프레는 기존 의복의례와 다른 복장을 집단적으로 착용하는 행위에서 비롯된 것으로 볼 수있다. 밀러(Miller)는 에셔가 주장한 의복의 ‘세가지 자아’이론을 바탕으로 환상적인 복장을 착용하는 것이 공적, 사적, 숨겨진 자아측면에서 동시적으로 영향을 줄 수 있음을 밝혔다. 다시 말해 환상적 복장의 집단적 착용은 개인의 은밀한 욕구를 친구들과 함께 공적인 공간에서 표현한다는 점에서 중요한 의미를 가진다.[10] 그러나 할로윈과 같은 환상적 복장들까지 코스프레로 간주해서는 안된다. 코스프레는 가장의 측면뿐 아니라, 만화나 애니메이션, 영화, 스타의 이미지 등의 상징물들로 자신을 표현하기 때문이다. 

          소유석은 코스플레이어의 코스프레 참여행위를 동기, 맥락적 요인, 캐릭터 선정 그리고 실천 층위로 구성했다. 동기의 층위는 자기실현과 타인의 관심으로 유형화된다. 맥락적 요인은 개인적 삶과 같은 개인적 요인과 코스프레 문화에 존재하는 주류적 움직임 등의 집단적 요인으로 유형화된다. 캐릭터 선정 층위에는 미소년, 미소녀, 밀리터리, 일상사물, 전능적 존재의 유형이 존재하며, 실천 층위에는 개성화, 미메시스적 실천, 페르소나 형성, 상품화로 구성된다. 코스플레이어들은 자신을 실현하고자 하는 욕망, 관심을 받고자하는 욕망를 충족하기 위해 코스프레에 참여하고 있으며, 개인적 욕망들은 삶과 코스프레 집단의 특성에 의하여 구체화된다. 이러한 지점은 코스프레 행위에 단순히 캐릭터를 모방하는 것을 넘어서 자신을 실현하고 타인과 교류하는 실천적인 측면이 내포되고 있음을 시사한다.

          이와 같이 코스프레가 개인적 욕망을 구체화하는 도구로 기능하기 때문에 코스플레이어들은 자신이 선정한 캐릭터를 일명 ‘고퀄’로 구현하고자 한다. 자아실현을 목표로 하든 타인의 관심을 목표로 하든 코스프레의 감각/개념적 층위를 섬세하게 구현하는 것은 현실화하는데에 중요한 요소이기 때문이다. 이 때 퀄리티는 캐릭터의 시청각적 특징을 자신의 욕망을 기반으로 현실화하는 감각에 따라 결정된다. 현실화는 미메시스를 통해서 이루어지기도 하지만, 시청각적 특징을 적절히 변형하는 과정을 통해서 구현되기도 한다. 어떤 방법론을 채택하든 코스플레이어는 코스프레하기로 한 캐릭터의 시청각적 특성 중 일부를 현실세계에서 진짜처럼 느껴지도록 재구성한다. 재구성 대상은 주로 캐릭터의 복장과 말투, 행동 그리고 폴리사운드이다. 재구성된 시청각적 요소는 현실의 코스플레이어를 진짜처럼 증강한다. 유튜브와 같은 동영상 플랫폼이 발전하면서 코스프레 현장이 오프라인 행사에서 온라인 공간으로 옮겨감에 따라 관객들이 기대하는, 코스플레이어가 재구성해야하는 시청각적 요소도 변화하고 있다.(현재 코스플레이어들은 온라인 공간에서 자기 실현과 타인의 관심이라는 목표를 달성하고 있다. 오프라인 행사는 온라인 공간에서 목표를 달성한 코스플레이어들이 관객들과 관광지 기념 촬영을 하듯 사진을 찍는 공간으로 변모했다.)

          코스프레 집단은 미메시스의 차원에서 해상도 높게 구현된 코스플레이어들을 엘리트 코스플레이어 또는 프로 코스플레이어로 여기는 경향이 있다.(코스프레의 감각적인 부분은 개념적 층위와 연동되어 현실화에 기여하므로, 코스플레이어들은 미메시스의 해상도에 관심을 기울일 수밖에 없다) 이 때문에 오프라인 행사가 현장인 시절부터 코스플레이어들은 환상적인 의복을 현실세계에 존재할 것처럼 제작하기 위해 부단히 애써왔다. 말투와 행동 역시, 코스프레 현장에서 캐릭터를 고퀄리티로 구현하기 위한 도구로써 발전해왔다. 코스프레 현장에서의 애니메이션 특정 장면 연기 대회가 복장, 말투 그리고 행동을 해상도 높게 구현하도록 추동하는 데에 큰 역할을 했다.  그러나  코스플레이어와 관객이 만나는 장이 온라인 동영상 플랫폼으로 변모함에 따라, 코스프레에서 폴리사운드를 감각/개념적 층위에서 진짜처럼 재창조하는 일이 중요해졌다. 코스플레이어가 코스프레를 더욱 진짜처럼 만들기 위해 폴리사운드를 재창조할 때 폴리사운드는 콘텐츠 제작의 포스트-프로덕션 단계에서 획득한 것과 다른 AR적 특성을 획득하게 된다. 필자는 폴리사운드를 재창조하여 코스프레 퀄리티를 높이는 방법을 5단계로 나눴다.

          단계가 높아질 수록 물리적 현실 안에서 가상이 실재와 통합됨을 경험할 수 있는 수준이 높아진다. 다시 말해 폴리사운드가 가상과 현실이 중첩된 공간의 실재를 생생하게 구현하는데 기여하는 것이다. 만화나 애니메이션, 게임을 원작으로 하여 제작된 블록버스터 영화는 5단계를 극단까지 밀어붙인 결과라고 볼 수 있다. 마블의 마블시네마틱유니버스 프로젝트와 DC의 DC확장유니버스는 만화와 애니메이션에 등장했던 캐릭터에 귀속된 폴리사운드를 모방하고 변형하며, 감독이 탐구한 시대정신의 개념을 드러냈다. 다시 말해 영화에서 재창조된 캐릭터의 시청각적 구성요소는 감독의 개념과 연동되어 있는 것이다. 아이언맨1과 어벤져스 엔드게임에 등장하는 토니 스타크의 망치질 소리는 아이언맨 TV 애니메이션 시리즈의 망치질 소리에서 가져온 것이다. TV 애니메이션 시리즈 오프닝에 등장하는 망치질 장면은 토니 스타크의 엔지니어적 본질을 드러내는 것에 그치나, 영화화되어 재창조된 소리는 토니 스타크의 엔지니어적 본질 뿐 아니라, 직능을 통한 영웅적 실천의 개념도 함께 포괄하는 것으로 변형되었다. 배트맨v슈퍼맨에 등장하는 전투씬에 등장하는 배트맨의 음파공격과 클립토나이트 공격은, 배트맨 : 더 다크나이트 애니메이션에 등장하는 장면으로 배트맨의 지능적인 면모를 드러내는 장치이다. 이 때문에 해당 장면은 영화에서 배트맨이라는 캐릭터의 정체성을 구현하는 중요한 구성요소가 되어야만 했고, 애니메이션의 폴리사운드를 영화에 어울리는 진짜 같은 소리로 재창조하는 과정을 통해 설득력을 높일 수 있었다. 

          아이언맨과 배트맨을 연기한 배우들은 코스플레이를 하며 자기 실현을 경험했다. 이는 감독이 개인 욕망 구조화 도구로써의 코스프레의 특성을 인지하고 해당 배역에 어울리는 배우를 캐스팅했기 때문이다. 마블시네마틱유니버스에서 아이언맨을 연기한 로버트 다우니 주니어와 DC확장유니버스에서 배트맨을 연기한 벤 애플렉은 둘다 어두운 과거를 갖고 있다. 로버트 다우니 주니어는 과거 마약 중독에 시달렸고, 벤 애플렉은 음주와 도박 중독에 시달렸다. 로버트 다우니 주니어가 연기한 아이언맨은 방탕하고 자만심에 차있으며 이기적인 인물이 일련의 사건을 거치며 영웅이 되어 가는 스토리라인을 갖고 있었다. 벤 애플렉이 연기한 배트맨은 범죄와 투쟁하는데 지쳐 스스로 광기에 휩싸인 나머지 극단적인 정의를 시행하려다 현실을 인지하고 원래 추구했던 정의의 원점을 찾아가는 스토리라인을 갖고 있었다. 두 인물은 모두 각자의 캐릭터를 연기하며 자신과 캐릭터 간의 유사성 속에서 자신의 상처를 재경험하는 정동적 체험을 했음을 인터뷰를 통해 밝힌 바 있다. 이와 같이 만화/애니메이션/게임을 원작으로 하는 블록버스터 히어로 영화에서 드러나는 코스프레까지 포괄하여, 어떤 원작에 종속된 폴리사운드가, 코스플레이어에 의해 재창조될 때 코스프레의 감각/개념적 퀄리티를 증강하는 폴리사운드로 변모하고, AR적 특성을 획득한다는 것을 알 수 있다. AR적 특성을 획득한 폴리사운드는 인터-리얼리티라는 관점에서 현실/가상적 공간에서 실재가 교차감각되는 순간을 가시화한다.

          이러한 문제적 구조체를 탐구하기 위해 폴리사운드가 주체인 아카이브 영상을 제작했고, 작업에 대한 소고를 족자봉의 형식으로 제시했다. 아카이브 영상은 앞서 제시한 ‘폴리사운드를 재창조하여 코스프레 퀄리티를 높이는 방법 5단계’와 관련된 영상 클립들로 제작했다. 제작에 활용한 영상 클립은 원작 클립과 코스프레 클립으로 나뉜다. 코스프레 클립을 선별할 때 원작의 폴리사운드를 재창조한 폴리사운드가 코스프레를 더욱 진짜처럼 만들고 있는 경우에만 작업의 재료로 활용했다. 그리고 족자봉의 디자인은 서울 코믹월드와 같은 만화·애니메이션 동인행사 부스 참가자들이 판매하는 족자봉을 납품하는 업체에 맡겼다.

[참고자료]

[1] 정동훈. 가상현실 개념사전. 21세기북스. 2017. 107쪽.

[2] 고바야시 아키히토(저), 이정아(역). 알기 쉬운 증강현실. e 비즈북스. 2011. 33쪽.

[3] 이기호, 배성한. 증강현실(AR)을 이용한 예술적 실천과 공간에 관한 연구. 한국영상미디어협회 예술과 미디어 12권 4호. 2013. 8쪽.

[4] John Roesch, Gregg Barbanell, Matt Coffey. 폴리 사운드 효과 자세히 알아보기. Adobe 웹사이트. 2020년 12월 15일 확인. https://adobe.ly/3a9mdaE.

[5] 피에르 레비, 진재연(역). 디지털 시대의 가상현실. 궁리. 2002. 19-21쪽.

[6] 피에르 레비, 김동역/조준형(역). 사이버 문화. 문예 출판사. 2000. 75쪽.

[7] 장경재. 콘텐츠 관광에서 코스프레의 의의와 지역발전에서의 역할. 문화콘텐츠연구 6호. 2015. 7-46쪽.

[8] 문현선. 재팬 애니컬의 스토리텔링 전략. 한국만화애니메이션학회 2009 하반기 종합 학술대회 자료집. 2009. 51쪽.

[9] 조현진, 조우현. 코스프레 코스튬의 특성. 한국의상디자인학회 8권 2호. 2006. 109-123쪽.

[10] 소유석. 코스프레 참여집단의 하위문화 실천에 대한 문화기술지 연구. 서울 : 중앙대학교 대학원. 2017. 24쪽.