虚拟现实（Virtual Reality），简称VR技术，是集成三维图形技术、仿真技术、多媒体技术、传感技术、显示技术等计算机生成的高技术模拟系统，由数据构成一个虚构的沉浸式的三维空间，人们通过佩戴VR头盔进入一个逼真的三维视觉、触觉、嗅觉等多感官体验的虚拟世界。
2016年是VR元年，随着“元宇宙”概念的提出，VR又再次掀起新的浪潮。VR、AR（增强现实）、MR（混合现实）、人工智能、5G通讯等高新技术逐步应用于舞台艺术，丰富了大众的视觉经验，拓展了舞台艺术的表现形式，赋予艺术创造以全新的诠释方式。中国艺术科技研究所（以下简称“艺科所”）数字艺术部早在2015年就开始尝试利用VR、AR技术与文化遗产结合进行探索研究，曾申报自主课题《增强现实技术与西安兵马俑在手机上的应用研究》。本次课题《适配真人的中国传统戏曲仿真表演系统研发》是艺科所数字艺术部在VR技术助力下与中国传统戏曲联姻的又一个应用型研究项目，该项目已于2022年顺利结项。可以说，数字艺术部一直延续着尖端技术与中国传统文化融合的应用研究并取得了一些成果。
1 问卷调研确定表演内容
中国传统戏曲具有悠久的历史、独特的魅力和深厚的群众基础，是表现和传承中华优秀传统文化的重要载体。但随着时代的发展和科技的进步，传统戏曲却因为传播方式的陈旧，难以获得年轻人的青睐，其传承面临着极大的挑战。因此，如何借助VR技术，将传统戏曲与现代生活相结合，吸引更多受众群体尤其是年轻观众的关注，进而达到“活态传承”，是传统戏曲发展亟需解决的现实问题。
在设定剧种表演以及剧目内容之前，该项目团队开展了一次问卷调查。在统计中发现，只有37.01%的人体验过VR技术。可见，VR技术在中国的应用与推广仍有很大的空间。在剧种选择上，从代表性、认知度和受众面等相关因素出发，该项目最终确定以京剧和昆剧作为项目应用剧种。在剧目的选择上除了符合大众审美，更重要的是要适合动作捕捉技术和数字动画制作技术的应用，结合技术难度的考虑，项目团队最后确定京剧“穆桂英挂帅”和“定军山”、昆曲“牡丹亭·游园”剧目的片段进行采集与开发。
2 虚拟现实视频拍摄
研发团队进行了多轮虚拟现实视频的采集测试，对前期拍摄的采集硬件设备进行了优化处理，采用8K立体，50帧的标准进行视频采集。克服了VR拍摄设备移动机位的抖动，采用了Mistika、Scratch VR等软件的光流计算拼合，利用跟踪计算做画面的修补与擦除，在极端画面上也采用了人工手动和自动跟踪相结合的方式来确保画面的流畅度，并通过前期硬件与后期软件的稳定方案来消除运动中的抖动。
VR视频采集现场全景图（左）和终稿图（右）
3 动作捕捉技术
仿真表演系统开发和戏曲表演的数据采样都离不开动作捕捉系统。动作捕捉技术（Motion Capture）是把物体运动信息变成计算机能够识别的一项技术。研发团队采用了诺亦腾Perception Neuron 3 Pro惯性动作捕捉设备，采集的戏曲演员穿上动作捕捉设备，在演员的骨骼节点绑定传感器，被采集的人自己最好穿着比较紧身的服装，这样捕捉到的数据便会更精准。动作捕捉跟踪戏曲演员每个表演动作，其运动轨迹在无线链接的电脑上实时记录着，再经过计算机处理为虚拟三维空间坐标的数据。有了这些表演数据后，就可以进行程序引擎开发。
戏曲表演采集现场部分图片
4 系统软件开发
仿真表演系统软件的开发即是开发一套戏曲VR体验软件，主要用于体验者进行戏曲的学习、戏曲角色的选择、自己头像的植入、表演过程的控制。软件采用Unity 3D引擎进行开发，系统接入能够嵌入体感和传感器系统sdk接口，可在大屏和头盔显示器上使用；程序模块含有材质替换模块、图案替换模块和视频替换模块等，能够实现戏曲模式的实时切换。
戏曲虚拟人制作是这套适配真人的中国传统戏曲表演系统软件的核心要素。戏曲人物的戏服比一般人物的衣服要复杂的多，是技术上的难点。戏曲虚拟人制作之前，首先要确定这几个方面内容：确定角色戏曲虚拟演员的比例、身高、体重和体脂;确定角色戏曲服饰和道具的设计;确定角色标志性表情和动作的静态设计。技术团队经过多种软件结合应用才完成了三维模型制作。根据捕捉的戏曲演员表演的运动数据在三维动画软件中建立相应的戏曲演员模型。一开始先要制作人体基础模型，完成后导入服装制版软件Marvelous Designer进行服装打板和建立3D服装人体模型。初级人体模型（俗称低模）的制作一般会用到maya或者3dsmax软件，低模确立后，拆分uv。中高级模型会用zbrush/TopoGun等拓扑和雕刻软件，Photoshop/Substance Painter/Marmoset Toolbag等软件配合完成贴图绘制。
在动画制作阶段，使用3dsmax或者maya进行骨骼的绑定、蒙皮，骨骼和模型与戏曲服饰相结合，正确绑定，人物口型、表情等动作技术处理。导入完成的模型和贴图文件用unity3D或者unreal虚幻引擎进行材质和灯光的构建，通过引擎程序把戏曲演员表演内容完美展现。目前该项目技术团队对于制作虚拟人物的绑定和表情算法技术成熟，自创的声音驱动算法达到了一定的标准。
制作过程部分截图
5 仿真表演系统测试
仿真表演系统研发中包括模拟环境、感知、表演技能和传感设备等方面。利用场景漫游和碰撞检测实现沉浸式的表演功能并通过算法进行优化，然后通过惯性传感器动作反馈模块把人体的动作特征传递给处理器，处理器再经过模块搭建，同时也采用表情采集器给中央处理器分析，并在显示模块上显示。当系统模块中的碰撞检测感应到表演中出现碰撞的时候，中央处理器控制震动模块震动并模拟碰撞情况，同时通过语音模块将音乐或者语音实时传递给穿戴VR终端的操作人员。体验的数据会保存到数据存储器中，并进行表演积分的排名。
6 观众体验过程步骤
1）体验者站在摄像头前，将自己的脸部拍摄下来，点击OK；
2）穿戴上动作捕捉设备，戴上VR头盔；
3）选择剧目片段，挑选扮演的角色；
4）选择好后，自动生成一个虚拟演员；
5）欣赏和学习一段戏曲剧目的表演；
6）体验者看完戏曲演员表演，选择已设定好的多个虚拟场地（如老戏台、故宫、天安门等有代表性的场地）作为虚拟舞台进行表演；
7）表演结束，系统会进行表演评分（根据在虚拟舞台的虚拟物体与表演者的逻辑关系测算出）；
8）表演结束后体验者通过扫描二维码下载自己的表演片段。
体验步骤截图
7 成果应用
通过新一代的惯性捕捉设备研发了一套虚拟仿真的戏曲表演系统。体验者可以从中模仿戏曲演员的表演，置身于“真实”的戏曲环境，在技术沉浸的同时获得心理沉浸的快感。体验者通过虚拟换装、表情、动作和特效等表达方式和虚拟戏曲人进行更多的互动，借助沉浸式的体验，让观众在虚拟的世界里尽情实现艺术的自我表达。与此同时，通过创造虚拟舞台特效和运镜特效，随着音乐联动营造出完全贴合其戏曲种类的虚拟舞台和随之变幻的视觉风格，让戏曲重新获得了视觉表达，使得戏曲表演不再受到时空和技术的限制，让体验者拥有了全新的戏曲舞台表演体验。
自主开发的手套SDK接口程序结合惯性动捕系统和设定的标准化的室内表演环境，即可完成较大规模戏曲表演数据的批量采集，可为戏曲学员或者业余爱好者积累表演数据，并且采集的数据即可连接相关的虚拟引擎进行虚拟数字人表演。
学习戏曲实时体验。通过模仿戏曲虚拟数字演员的表演，为戏曲爱好者提供了一种新的了解、学习戏曲的路径与方法。协助名角老师解决不能“分身”教授不在同一时空学员的遗憾。该项目具有可复制性，可以为戏曲传习班、戏曲博物馆、城市文化展馆、旅游景区等场所，甚至是戏曲爱好者个人“量身定制”。用户可以直接与定制的名角老师“面对面”学习戏曲表演。戏曲VR的体验让不是演员的受众过了把“真”戏瘾，再度拓宽了戏曲传播和传承的渠道。
五部门联合发布的《虚拟现实与行业应用融合发展行动计划（2022—2026年）》判断三维化、虚实融合沉浸影音关键技术将在2026年重点突破，新一代适人化虚拟现实终端产品将不断丰富，产业生态进一步完善。可以预见的是，随着全球范围内数字化的深入发展，中国传统戏曲借助飞速发展的新技术，必将焕发新的生机。
