多媒体及虚拟现实在演艺中的应用_虚拟现实技术未来发展
时间：2019-05-12 03:22:26 来源：柠檬阅读网 本文已影响 人 
文章介绍了虚拟现实技术的最新发展及在虚拟演艺中的应用，结合国内外具体实例，讨论了虚拟彩排的关键技术，并对成立虚拟合成实验室有关技术和应用进行了探讨。 虚拟现实多媒体演艺
在当今信息社会，个人和团队取得成功的一个重要关键是掌握瞬息万变的信息资源，运用更为复杂和互动的工具获取信息、提取信息，结合成新的结构进行有效的合作和部署。计算机的飞速发展使信息交流和沟通更为简单，集图文、声像于一体的多媒体技术已成为人们日常生活中学习和娱乐的主要形式之一，新媒体技术的创新和运用成为当今舞台艺术的热点。虚拟现实（Virtual Reality）技术是人与计算机进行交互的技术，以沉浸、交互和构想为特征，虚拟现实环境提供了各种工具的可视化。人们通过听觉、视觉、触觉多个信息通道与虚拟环境进行交互，为音乐、戏剧的创作和互动体验提供了新的技术手段。
一、多媒体与虚拟现实技术的新发展
多媒体与虚拟现实技术在演艺行业和艺术院校教学中日益得到重视，虚拟现实技术与美术、音乐等文化艺术结合交融，给人们的工作和生活带来极大的改变。①②③
新的LED技术在近年的春晚、2008年北京奥运会开幕式中先后亮相，并被大面积运用，让盛会相较以往增色不少，彻底改变了传统的舞台效果，将现场打造成如同梦境般的多媒体时空。音乐、舞蹈同LED的高科技元素相配合，带来美轮美奂的视觉享受。
虚拟现实技术应用方面，比较著名的有“blue—c”项目④（图1）、上海戏剧学院多媒体演艺虚拟空间合成实验室⑤（图2）等。“blue—c”是一个多个国家联合研究的项目，设在瑞士苏黎世联邦理工学院，于2000年4月启动，目前正在进行第二阶段的研究。该项目建立了一个协作、沉浸的CAVE虚拟环境，CAVE是一个多用户、房间大小、高清晰度的3D视频和音频环境，计算机生成的实时立体图像以背投的方式投射到三面墙和地面上形成虚拟现实剧场，提供新一代的虚拟设计、建模和协作的环境。三维人体被实时整合在网络化的虚拟环境中，利用大屏幕和先进的投影技术创造出整体的沉浸感，实现了前所未有的人和虚拟模型的互动和协作。该项目在格拉斯哥艺术学院得到成功应用，演员身穿“虚拟服装”进行表演，可以远程支配演员的服装、情绪、动作。上海戏剧学院研发了国内第一个多媒体演艺虚拟空间合成实验室，只需要动动鼠标，几秒钟内即能完成布景、灯光等的搭建，不用彩排就能看到舞台效果，从而找出最佳方案，彻底颠覆了传统的演艺模式。目前，已成功应用多项案例，如上海合作组织峰会文艺演出《和谐礼赞》虚拟排演项目，2007年女足世界杯开幕式虚拟排演，为内蒙古自治区成立60周年文艺晚会提供前期演出方案的虚拟排演和正式演出的舞台多媒体影像设计与制作。
二、虚拟演艺合成实验室建构
虚拟实验室（Virtual Laboratory）亦称为合作实验室（collaboratory），最早在1989年由美国弗吉尼亚大学的William Wulf教授提出，用来描述一个计算机网络化的虚拟实验室环境。目前，虚拟实验室在教育各界得到较为广泛的应用，在应用中表现出很强的优势，具有成本低、效率高、功能全、协作性等特点。⑥
“虚拟演艺合成实验”集技术与艺术为一体，是一个计算机网络化的虚拟实验室环境，它利用虚拟现实技术、多媒体技术、网络技术等实现虚拟排演，改变舞台或大型活动设计传统的手工操作模式，将舞台或大型活动出现的各个要素，包括场景、演员、音乐、声音、灯光、道具、服装、特技等，用计算机建模，并将它们存储在相应的数据库中，编导可以根据需要随时方便地调用这些元素，有机组织、构建舞台场景并运行。通过构建虚拟舞台，编导置身其中，身临其境地将艺术创意进行实时实现、浏览、修改和存储，不仅降低创作成本，加快制作周期，而且可以大大丰富编导的艺术创作，增强作品的艺术效果。
演员以虚拟角色的形式在虚拟环境中得到表现，通过鼠标、键盘以及空间鼠标、自由度指挥棒等设备进行交互。虚拟演员被赋予不同身份，包含口型、动作、面部表情、音色等特征，结合最新的虚拟现实技术，参与者可以以虚拟化身（avatar）的形式进入到虚拟世界里。
“虚拟演艺合成实验”是一个典型的虚拟现实系统和分布式仿真开发和运行环境，需要有界面友好的建模、设计软件，实时、逼真的三维场景、声音显示系统和自然的人机交互方式，以此实现人与环境的现实融合，它具有沉浸感、交互性、构想三大特点，通过身临其境的虚拟环境激发人的创造力和想象力。同时，它还应有分析、评估的功能，支持艺术创作的全生命周期。
多维虚拟合成空间环境可以使人实时、自然、直观地与虚拟环境中的物体或角色进行视觉、听觉和触觉等多维信息通道的交互。它由硬件系统与软件系统组成。硬件系统包括计算机系统、视景投影显示系统、音响系统、人机交互设备、建模工具、运动捕捉系统等。
计算机系统由高端图形工作站和高性能PC机以及网络设备组成，是一个联网的系统，它的功能是实现虚拟舞台的建模、设计、运行以及分析、评估。
视景投影显示系统由多个通道组成圆柱面弧形投影幕，提供多人参与、超宽视角的虚拟环境；或由四面投影墙组成一个立体的虚拟空间（CAVE系统），带来身临其境的感受。每个通道子系统由 PC 机、投影仪组、偏振片、投影屏幕组成。PC 机上安装具有双路输出功能的显示适配卡，显示适配卡的每一个输出端连接一个投影仪。一个通道的两个投影仪组成一个投影仪组，在偏振片的配合使用下生成具有左右眼视差的立体图像。提供细致的画面、真实的三维立体效果和高临感的视觉环境。在软件上运用边缘融合处理及几何校正等图像处理技术，实现在平面、柱面等显示系统中校正图像显示畸变以及消除多台投影系统的光学拼接缝隙。
音响系统采用扬声器阵列和功放设备建立全方位的声场，既可播放音乐又可实时生成虚拟环境的空间立体声。
建模工具，如三维模型激光扫描仪，通过对实物扫描很方便地生成数字化模型。
运动捕捉系统捕捉演员典型的动作甚至面部表情，通过人体仿真软件复现所采集的动作并赋予不同的虚拟角色。
多维虚拟排演软件系统由一系列软件系统或功能模块组成（表1）。
其中，数据库管理软件包括建立角色、动作、布景、道具、服装、乐器、音乐等各种数据库以满足各类演出的需要，并进行有效管理。
通过该软件系统，创作人员可以随时将存储在相应的数据库中预先利用计算机建模的演出所需要的灯光、布景、服装、声音、演员的动作这五个要素，构建舞台场景，其舞台演出效果可以实时得到预览。创作过程全部记录下来，创作者随时根据需要进行调整和修改，直到呈现满意的演出效果。这样的创作方式可以降低成本，加快制作周期。另外数据库也为创作人员提供大量的素材。运行时具体操作概况如下：
1.导演根据需要，向后台发出指令，负责演员调度的技术人员按照要求载入场景、虚拟角色进行控制，通过分布式渲染方式，最终通过大屏幕、音响系统实时表现导演的想法。
2.这一系列的过程都是一个合作、协同的操作模式，也就是后台的技术人员根据前台创作人员的要求分别进行实时互动，最终在大屏幕和音响系统上表现出整体的合成效果，听觉、视觉做到同步。
3.后台拥有庞大的数据库支持。导演、灯光师、舞美设计师等都可根据实际需要通过数据库调用所需的各种素材，进行实时互动排演。
4.后台预算功能，能够及时地计算出所有的预算，在效果和经费中建立起直观、透明的联系。
下图为“虚拟演艺合成实验” 系统开发、运行环境简要框图（图3）。
三、虚拟演艺合成实验室意义
利用数字化的虚拟合成创作方式是一种创新模式。在中国音乐学院开展该项目的运作，其优势概括为如下几点：
1.提升国音教学水平：使中国音乐学院成为北京演艺运作研究中心、演艺生产的核心基地，从根本上将中国音乐学院的学术地位提升到了一个新的高度。
2.搭建社会实践平台：在中国音乐学院创建该系统，能够为在校的学生提供一个社会实践的平台，创造展现学生能力的舞台，是中国音乐学院不可或缺的社会实践基地。
3.提高整体创作效率：各个部门是在一个数字合成的平台上同步创作，效果能实时看到，使得设计方案能够实时地修改和确认，有利于提高艺术创作的效率。
4.准确调控资金预算：项目投资者在创作设计过程中能通过效果准确地把握工程预算，有利于资金的有效控制。
5.保护重要艺术成果：数字化创作的过程也是数字化存储的过程，有利于艺术成果资源的保护和共享。
6.满足市场巨大需求：在北京，文艺演出活动、大型演出活动的承办需求日益增加，有利于该系统的推广和应用，故其具有较高的市场价值。
结语
虚拟演艺合成实验室是建立在信息技术、多媒体技术和虚拟现实技术基础上的演艺创作应用技术平台，集成了多媒体、建模仿真技术、动漫等多种技术，是艺术与技术相结合的创意产业理论实践案例之一。它的创建将彻底颠覆传统的演艺模式，预示着一个产业的再生。它适应社会文化产业快速发展的巨大需求，具有广阔的应用前景，并对民族和传统文化的传承和保护有重要意义。
注释：
①梁丽群. 论信息技术与音乐课程整合[J]. 中国音乐，2007(2)：201—205.
②潘祖君. “交互式”电子音乐的特点之浅见——“音乐与高科技”音乐会有感[J]. 中国音乐，2005(4)：194—196.
③郭俪雅. 多媒体技术在声乐教学中的运用探索[J]. 中国音乐，2005(2)：181—184.
④M. Gross，et al. Blue—C： A Spatially Immersive Display and 3D Video Portal for Telepresence[J]. ACM Trans. Graphics，2003，22(3)：819—827.
⑤贺寿昌. 演艺虚拟合成系统创作与应用[M]. 上海：上海人民出版社，2007.
⑥刘筱兰，等. 虚拟实验室的类型及发展趋势[J]. 计算机应用研究，2004(11)：8—10.
作者单位：中国音乐学院艺术管理系
（责任编辑：曹宁）
