인천시 문학동에 위치한 SSG 랜더스필드 프로야구 경기장. 단발머리를 한 20대 여성 모델이 힘차게 던진 야구공이 허공을 갈랐다.
10일 인천 SSG랜더스필드에서 개최된 SSG 랜더스와 KT 위즈의 프로야구 경기 시구가 화제가 됐다. 신세계 그룹의 ‘버추얼 휴먼(Virtual human)’ 모델인 ‘와이티(YT)’가 시구자로 나서면서다. 비록 마운드가 아닌 전광판에서 이뤄진 시구였지만 와이티는 실제 사람과 구별할 수 없을 만큼 자연스러운 표정과 동작을 선보였다.
와이티가 실감나는 시구를 던질 수 있었던 비결은 ‘인공지능(AI)’이다. 와이티 뿐만이 아니다. 국내 1호 버추얼 휴먼 모델 로지(ROZY)부터 걸그룹 ‘이터니티’에 이르기까지 최근 출시되는 거의 모든 버추얼 휴먼들의 핵심 기술에는 AI가 깊숙이 자리 잡고 있다.
◇진짜 사람 같은 외모의 ‘버추얼 휴먼’… AI제어로 실시간 라이브 방송도
버추얼 휴먼들을 제작하는데 AI는 어떤 역할을 했을까. 먼저 버추얼 휴먼이 실제 사람과 유사한 얼굴을 가질 수 있는 것은 AI 기반의 ‘디지털 더블(Digital double)’ 덕분이다. 디지털 더블 기술은 특정 모델이나 배우의 얼굴에 가상으로 제작한 얼굴을 합성하는 기술이다. 다수의 3D카메라를 통해 실제 사람 모델의 얼굴 형태와 안면 근육 움직임을 분석한 후 가상으로 제작한 얼굴을 모델의 얼굴 영상이나 사진에 합성하는 것이다.
이때 디지털 더블 기술로 모델에 덧씌워지는 버추얼 휴먼의 가상 얼굴은 AI의 딥러닝을 통해 제작된다. 다양한 상황에 따라 모델의 안면 근육이 어떻게 변화하는지를 분석하고 거기에 맞는 가상 얼굴 및 표정을 생성하는 방식이다. 이렇게 만들어진 버추얼 휴먼의 얼굴은 실제 사람의 얼굴 동작과 거의 유사할 뿐 아니라 모공과 솜털 하나하나까지 구현돼 더욱 실감 나는 가상 얼굴을 만들 수 있다.
다음은 디지털 더블 기술을 기반으로 제작된 버추얼 휴먼이 실시간 방송을 할 수 있는 동작을 부여하기 위해 ‘딥리얼 라이브’라는 기술을 적용할 차례다.
와이티를 제작한 AI그래픽 전문기업 펄스나인(PULSE9)에 따르면, 딥리얼 라이브는 AI가 다양한 각도에서의 2차원 얼굴 이미지 데이터 소스 수십만 장을 학습한 후 실제 사람 모델과 실시간으로 페이스 스왑(Face swap: 얼굴 교환)을 통해 라이브 방송을 진행하는 기술이다. AI로 영상 속 버추얼 휴먼의 시선, 근육의 움직임 등을 제어하기 때문에 실제 사람 진행자와 비교해 손색없는 사실감을 표현할 수 있다.
펄스나인의 허인경 MPR 실장은 “AI를 활용한 딥리얼 라이브 기술을 개발해 버추얼 휴먼이 실시간 방송이 가능한 단계까지 기술력이 올랐다”며 “지금은 2D를 넘어 3D 기반의 데이터들을 학습할 수 있는 기술도 개발 중에 있다”고 했다.
◇완성형 버추얼 휴먼 만들려면… 판단력·감정 인식 기술 적용 필요”
AI 전문가들은 지금의 버추얼 휴먼은 ‘완전한’ 버추얼 휴먼의 단계에 도달하기 위해선 더 많은 분야와 융합할 필요가 있다고 보고 있다. 현재까지 출시된 버추얼 휴먼들은 외형은 사람과 유사하지만 행동 면에서는 분명한 한계가 있기 때문이다. 앞서 소개한 버추얼 휴먼은 라이브 방송 같은 활동도 모델이 연기한 동작들과 AI가 만들어놓은 외형 모습을 합성해 스스로의 판단 없이 정해진 동작을 하는 것뿐이다.
황재인 한국과학기술연구원(KIST) AI·로봇연구소 책임연구원은 “현재 버추얼 휴먼 기술이 ‘외형적 측면’에서는 굉장히 높은 수준까지 올라왔다”면서도 “내형적(감정 파악 및 상황에 맞춘 행동) 측면에선 좀 더 발전이 필요하다”고 지적했다.
황재인 연구원의 설명에 따르면 외형적 측면은 버추얼 휴먼의 얼굴과 신체가 실제 사람과 얼마나 유사한 모습인가’의 기준인 모델링 기술 발전 정도다. 반면 내형적 측면은 버추얼 휴먼의 외모가 아닌 이들이 얼마나 ‘사람처럼 행동하는가’라고 볼 수 있다. 현재 상황을 인식하거나 상대방 표정을 보고 답변 내용을 결정하는 것 등이 버추얼 휴먼의 내형적 측면 수준을 평가하는 요소다.
즉 현재 버추얼 휴먼의 한계를 넘어서기 위해서는 지금까지 개발된 기술들의 융합이 필요하다는 것. 인간의 감성을 인지·해석·처리할 수 있는 감성 컴퓨팅 기술, 실시간으로 상황을 학습하고 판단하는 자가 학습 기술 등이 조화를 이뤘을 때, 우리가 상상하는 ‘진정한 버추얼 휴먼’이 완성될 수 있다고 전문가들은 보고 있다.
황 연구원은 “아직까지 버추얼 휴먼 분야는 AI를 비롯한 관련 기술들이 각 분야들이 따로따로 발전하고 있는 상태”라며 “이런 여러 기술들이 종합적으로 조화를 이룰 때 약 5~10년 정도 지나면 우리가 생각하는 진짜 버추얼 휴먼이 될 수 있을 것”이라고 말했다.