A.I. 와 애니메이션, 그리고 애니메이터의 역할

1995년 픽사의 최초 장편 Full CG 애니메이션 ‘토이스토리’가 등장한 이후, 세계 애니메이션 업계는 2015년 이후 연평균 4%이상 꾸준히 성장하고 있다. 현재는 ‘겨울왕국2’처럼 콘텐츠 하나로 1조원 이상의 매출액을 기록할 정도로 애니메이션 콘텐츠 시장은 할리우드를 중심으로 끝없는 번영을 하고 있다. 국내 애니메이션 시장 규모도 지속적인 성장세를 이어오고 있지만 할리우드 애니메이션 시장의 규모와 비교하면 1/10에도 못 미치는 수준이다. 2019년 돌풍을 일으켰던 디즈니 흥행작 ‘겨울왕국2’는 자그마치 1,700억 원의 제작비를 투여하였고 그에 비해 한국을 비롯한 유럽, 일본 등의 극장용 애니메이션의 제작비는 많아야 200~300억 정도며 기본 마케팅 비용이 제작비와 같이 지출된다고 보았을 때, 홍보 및 상영관 수 확보에서 할리우드 애니메이션에 소외될 수밖에 없는 실정이다.

A.I.의 도래와 발전은 인간이 많은 시간과 비용을 지급해야 할 일들을 처리하게 되었다. 예를 들어 켄쇼의 리포트는 자연어 처리와 머신러닝을 활용한 금융 분석 프로그램으로 기사와 자료검색부터 시장 동향 분석, 투자 조언까지 제공하여 인간의 시간과 비용을 절약해 주었고, IBM 왓슨 포 온콜리지는 대량의 의료 데이터를 분석, 인사이트를 제공하여 의사의 판단을 도와주었다. 본 연구는 애니메이션 제작에 있어서 인간이 지불해야 하는 많은 시간과 비용을 인공지능에 의해 줄이는 방법에서 시작되었다.

현재 미국과 비미국권의 애니메이션 산업은 제작비 차원에서 극심한 양극화를 겪고 있고 그것을 해소하기 위한 A.I.의 역할은 무엇인지, 그리고 애니메이터 관점에서 기술의 특이점이 오는 시대에 어떤 시각을 가져야 하는지를 탐색해 보고자 한다.

인공지능이란 인간의 학습능력, 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현하는 지능을 가진 컴퓨터 시스템이다. 대표적으로 인공지능은 머신러닝(Machine Learning), 자연어 처리(Natural Language Processing), 컴퓨터 감각(Computer Sensing), 자동추론(Automated Reasoning), 지식표현(Knowledge Representation), 패턴인식(Pattern Recognition) 등으로 구성된다. 그 중 최근 A.I. 약진 대부분을 밀어붙여 온 힘은 머신러닝이다. 머신러닝은 경험을 통해 자신을 개선하는 알고리즘에 관한 연구, 즉 컴퓨터가 데이터를 통해 스스로 학습하는 것처럼 하는 기술이다. 머신러닝의 여러 알고리즘 중 3층 이상의 인공신경망으로 이루어진 딥러닝은 최근 A.I.기술에 많이 적용되고 있는 것이 사실이다. 대표적인 딥러닝 기술로는 DNN, CNN, RNN, GAN이 있는데 애니메이션 업계에서도 관련 기술들이 개발되고 있다.

코넬대학에서 프린스턴 가족 애니메이션 에피소드에서 나오는 캐릭터들의 행동을 인공지능에 학습시켜 주어진 Script에 맞게 캐릭터들을 움직이게 하는 CNN 기반의 연구를 했다. 시그라프 2017에서 발표한 연구로 기본적 입 모양을 토대로 오디오와 매칭이 되는 적절한 입 모양을 훈련시킨 데이터 결과를 이용하여 캐릭터에 적용한 연구다. CNN을 이용한 접근법으로 여러 특성이 있는데, 실시간으로 실행하고, 최소한의 매개 변수 조정이 필요하며, 새로운 입력 음성 시퀀스로 일반화하고, 양식화된 감정적인 음성을 만들기 위해 쉽게 편집하며, 기존 애니메이션 리타겟팅 방식과 호환된다.

시그라프 2017에 발표된 연구로 실시간 오디오 입력으로 3D 얼굴 애니메이션을 구동하는 CNN 기술이다. 심층 신경망은 입력 파형에서 얼굴 모델의 3D 꼭짓점 좌표로의 매핑을 배우는 동시에 오디오만으로는 설명할 수 없는 표정의 변형을 명확하게 한다.

최초 인공지능 상업 영화로 LSTM(long short-term memory)이라고 불리는 RNN을 이용한 스크립트를 이용하여 만든 작품이다.

목표 위치와 실행되는 동작의 적확한 명령이 제공되면 Google 시스템은 일련의 이동 및 전환을 계산하여 원하는 상태에서 목표에 도달하는 GAN을 이용한 연구로 시그라프 2019년에 발표되었다. 캐릭터가 가구 및 장애물의 다른 모양과 같은 광범위한 지오메트리에 적응할 수 있도록, 효율적인 데이터 증강 기법을 통합하여 3D 지오메트리를 임의로 전환하면서 원래 움직임의 맥락을 유지한다.

캐릭터 움직임은 크게 몸의 움직임과 얼굴의 움직임으로 구분된다. 일반적으로 게임에 주로 적용되는 움직임은 기계적 몸의 움직임에 집중되어 있고, 영화/TV 애니메이션에 들어가는 것은 기계적, 감정적 몸의 움직임뿐 아니라 표정의 움직임 및 립싱크까지 복합적으로 생각해야 한다. 왜냐하면, 영화/TV 애니메이션은 게임과 달리 숏들간의 이야기 전달이 중요하기 때문이다. 그래서 쇼트에 들어가기에 앞서 애니메이터들이 필요한 것은 Context와 Subtext이다. Context는 앞뒤 문맥을 뜻하고 Subtext는 캐릭터들이 가진 숨은 의미를 뜻한다. 즉, 인공지능을 애니메이션에 적용하기에 앞서 필요한 사전작업은 Context와 Subtext의 분석이다. 캐릭터들의 Context와 Subtext를 분석하기 위해서는 그 콘텐츠의 Script와 감독이 의도하는 방향을 함께 인지·분석해야 하고 그 후에 꼭 따라야 할 것은 캐릭터들의 감정 빈도수이다. 감정 빈도수에서 각 캐릭터의 기본적 성격이 나오며 성격은 곧 그 캐릭터의 움직임의 방향을 만들어 낸다.

한 이야기의 흐름 속에서 각 캐릭터의 감정은 반복되고 유사한 것들이 많다. 각 캐릭터의 모든 감정을 모두 분석하는 것은 불가능하고 또 경제성도 떨어진다. Pre-Production 과정에서 완성된 Script를 DNN, RNN 과정으로 분석하여 각 캐릭터의 감정 빈도수에 비례한 선행 애니메이션 데이터 구축이 필요하다. 그 방법에 관해서는 앞으로 공학과의 연구가 필요해 보인다.

과거 그리고 현재 애니메이터의 역할은 간단하다. 사전작업 단계 R&D작업으로 주요 캐릭터들의 표정 및 특징들을 애니메이션 팀들을 중심으로 잡고 본격적 프로덕션으로 들어가서 감독과 팀장과의 커뮤니케이션을 통해 애니메이팅을 하는 것이 애니메이터의 역할이다. 인공지능이 생활화되는 시기의 애니메이터의 중요한 역할 변화는 애니메이터가 일일이 애니메이팅을 하지 않는 것에서 출발한다. 영화/TV 애니메이션의 특징은 앞서 언급했다시피 기계적 움직임이 아닌 문맥, 감정, 이야기 전달이 필수적이다. 감독이 원하는 그리고 스토리에 맞는 캐릭터들의 몸 움직임과 표정 및 립싱크가 필요하다. 그러는 데 필요한 사전작업은 역시 각 캐릭터의 R&D과정이다. 애니메이션마다 감독의 방향과 캐릭터의 특성이 달라서 감정 빈도수 분석이 무엇보다 중요하다. 빈도수에 맞는 캐릭터의 몸, 얼굴 움직임을 애니메이션 팀의 R&D작업에서 충분히 구축한 후 프로덕션 과정에서 애니메이터가 필요한 역할은 Context, Subtext의 컨펌이라고 볼 수 있다. 물론 영화를 진행하면서 더 나은 이야기를 위해 수정이 필요한 부분도 있을 것이다. 이런 경우에 애니메이터에게 필요한 역할은 인공지능을 잘 이해한 상태에서 수정이 필요한 부분에 맞는 Context, Subtext를 적용하여 인공지능이 애니메이팅을 완성하고 감독과의 꾸준한 피드백으로 주어진 쇼트를 보완, 클린업시켜야 한다. 즉, 프로덕션 과정에서 다소 기계적인 애니메이터의 역할은 관리직으로 바뀌게 될 것이다.

인공지능연구의 권위자 레이 커즈와일은 특이점의 도래를 2045년으로 보았다. 그의 말대로라면 전 세계 인간의 뇌 처리 속도의 총합을 뛰어넘는 인공지능 시스템의 출현이 머지않았다. 세계 애니메이션 산업구조가 할리우드와 비-할리우드로 흘러가는 자본의 극심한 양극화 상태에서 한국 애니메이션계는 미래를 준비해야 할 것이다. 선행적으로 이루어져야 할 연구는 감정 빈도수 분석 방법, Context/Subtext 분석 방법, 애니메이션 인공지능 적용 방법 등이 될 것이다. 그리고 결과론적으로 실제로 인공지능을 통해 애니메이션 콘텐츠를 제작했을 때 시간과 제작비 절약의 수치화 및 과학적 분석 결과가 나와야 그 실효성이 있을 것이다.

[참고문헌]

레이 커즈와일, 『특이점이 온다』, 김영사, 2007.

로버트 터섹, 『증발』, 커뮤니케이션북스, 2019.

커넥팅랩, 『모바일 미래 보고서2020』, 비즈니즈북스, 2019.

정도희, 『인공지능 시대의 비즈니스 전략』, 더퀘스트, 2018.

케빈켈리, 『인에비터블 미래의 정체』, 청림출판, 2017.

멕스 테그마크, 『Life 3.0』, PenguinGroupUSA, 2018.