数百个小朋友举着和平鸽模型在舞台上自由跑动，脚下踩出一片片雪花，他们时而散开，时而汇聚，星光也跟着孩子们的脚步流动……
“这些雪花效果是怎么做出来的？为什么和演员配合这么精准又自然？”2月4日，北京2022年冬奥会开幕式上，演员们与脚下“屏幕”的互动给观众们带来了前所未有的“神奇”体验。
不只是雪花，还可以呈现出火焰、波浪等多种多样的效果，这些效果有个专业术语——“AI实时视频特效”。炫酷的视觉效果背后，是一套实时捕捉和交互系统，能够捕捉演员实时位置及姿态，并渲染出相应的美术效果。
新京报记者获悉，此项技术此前鲜有应用，它既是“科技冬奥”的典型体现，也成为北京2022年冬奥会开幕式上的一大亮点。在该技术辅助下，演员得以在场地上自由发挥。“演员可以不按照预设路线运动，有了更大的表现空间和自由度。”
这项AI实时视频特效工作由北京电影学院声音学院师生团队承担。他们就像一个“智囊团”，基于人工智能以及游戏引擎技术，为多个环节的不同节目提供演出实时特效。这场开幕式背后，技术如何与艺术对话？这些“身怀绝技”的团队成员向新京报记者揭秘开幕式背后的高科技。
开幕式《致敬人民》节目的AI实时视频特效，由北京电影学院声音学院师生团队制作。图/新京报记者 巫慧
算法捕捉几百人的舞台精准定位
在国家体育场（鸟巢），开幕式整个舞台是一张巨大的屏幕。“AI实时视频特效”实现的最终效果就作为节目的一部分实时呈现在舞台上。
马少典是团队成员之一。他从北京电影学院声音学院研究生毕业后留校工作。马少典告诉记者，“AI实时视频特效”是多种技术的综合运用。其中包括一些比较前沿的技术，例如人工智能模型训练、游戏引擎与图像合成技术；也依赖于各类成熟的综合技术，包括图像采集、网络通信等等。
首要难点在于，如何准确地追踪和捕捉场上几十人、几百人的实时位置及状态？记者了解到，这项技术此前从未大规模应用过，团队为这次开幕式专门做了大量实验研究及调整优化。
据悉，传统舞台的定位技术有很多，包括雷达扫描技术、电磁波定位技术，而在影视中常用的是在人身上贴传感器，捕捉人在空间中的位置。
而“AI实时视频特效”与之不同，这项技术的原理是通过图像进行识别，“通俗来讲，面向需要扫描的区域架一台摄像机，将它拍摄到的图像通过AI系统进行实时分析，判定人的坐标。”
这其中，需要用到AI模型训练。“其原理是，通过前期海量的图像采集、把视频资料提交给AI训练系统，让AI模型进行自我学习进化，进而形成与此次演出高度关联的识别模式，让系统更准确地识别。”马少典称。
而通常情况下，摄像机采集图像输入给系统算法、再将算法反馈出的效果输出至屏幕，是需要一个反应时间的。“因此，要实现屏幕美术效果和每一位演员的动作实时同步，让观众看起来效果是跟着人的，这是整个项目的一个技术难点。”
对此，该团队“多管齐下”解决延迟问题。一方面苛刻地选择设备，保证数据一环一环传递，尽量减少设备造成的延时；另一方面，根据鸟巢舞台特殊的场地条件对算法进行优化，补偿此前在实验室环境中未曾预料到的延时；此外，通过优化调整美术渲染生成的图案及其触发的方式，也会让最终呈现效果看起来恰如其分。
开幕式《雪花》节目的AI实时视频特效。数百个小朋友在舞台上跑动，脚下踩出的片片雪花跟着孩子们的脚步流动。视频/新京报记者 巫慧
区别传统舞美，AI技术赋予演员更大自由度
“通过AI技术只能得到相对精确的坐标，但这无法呈现给观众，观众可不愿意看几十万个坐标和代码。”马少典打趣道。
因此，最终的美术效果呈现也是“AI实时视频特效”中非常重要的部分。通过AI进行识别后，要靠算法按照事先设置的规则进行实时渲染，最后生成画面。
马少典告诉记者，这部分工作由多个美术团队共同配合完成。“不同美术团队根据导演设想，先为不同节目生产制作出传统形式的美术底图素材，我们将这些素材整合到实时平台中去，在此基础上加入与人相关的交互效果。”
这与传统舞台演出有着本质差别。“传统模式中，一般预先制作好一个视频，在屏幕上播放，让演员事先记住视频画面及播放进度，再配合练习好，包括哪里快、哪里慢、哪里转身，并在对应的时间点移动到对应位置。”
而在AI实时视频特效技术辅助下，演员得以在场地上自由发挥。“演员可以不按照预设路线运动，有了更大的表现空间和自由度。”这不但能够更好地实现导演的创意和设想，普通观众也能直观感受到这种表演方式的自由与灵动。“观众也能够感受到，这样的表演，仅靠刻苦排练，是难以完成的。”
马少典举例称，北京2008年奥运会开幕式中，很多恢宏整齐的表演，有明确的时间点和节奏，大家动作整齐划一或者有既定的规律。在北京2022年冬奥会开幕式中，导演希望在精确和规范之外，融入更多个性化的呈现。
“几百个孩子在舞台上随意跑动，要求每个小朋友都能对位置进行精准记忆是很难的，精准的同时又要让每个孩子自如发挥、自发表达，而不被牵着走，更难。”在马少典看来，当演员自由表演时，会有一种灵气和生动感，和传统表演是不一样的。
在多次彩排中，他也明显感受到，这项技术是“通用”的，不依赖于在人身上绑定传感器来实现，不论是大人、小孩，不论年龄、职业，包括误打误撞进入屏幕上的人，都能实现实时互动，“像一个人人可参与的游戏，非常有感染力和吸引力。”
团队成员“身怀绝技”，协力呈现实时互动艺术独特魅力
在一次次的效果调整中，导演时常采用比较艺术化的语言方式，给出的指导或者反馈常常比较抽象。因此，如何将导演给出的抽象化的指导意见，准确翻译或转换成为能够实际呈现出来的美术效果，找到相适应的技术方案，也是团队面临的一个挑战。
对此，团队的应对之策是，每次多准备几种方案，让导演在对比中找感觉。“导演可能会告诉我们，每个方案都不理想，但是其中哪一种相对来说更接近他脑海中想要的，或是给一些提示，然后我们再慢慢向导演给的方向去靠拢。”
有时候这些方案也会给导演意外的“惊喜”。团队有次给出的效果呈现出来后，是导演没想到的，反而启发了导演的灵感：“原来这个工具还能这么玩！”马少典称，如果某种效果更能表达导演的创意，导演也很善于将实时交互的特效融入到作品当中，调整编排的思路。
“这个项目比较复杂，需要既懂系统架构、又懂算法、又懂视觉合成，甚至要精通不同演播系统的颜色管理……这些技术问题需要综合多个专业的人来配合完成。”马少典称。
来自北京电影学院声音学院的这支团队的人员配备，刚好能够胜任这一专业角色。团队成员加起来不到10人，一半是教师，一半是学生，其中最小的一个还是大四年级学生。
这些成员大部分都有着交叉学科背景，可以说个个“身怀绝技”。有的同学擅长视频后期处理，有的同学拥有计算机学科背景，搭建系统等技术工作会得心应手；团队中有的成员擅长美术效果设计，特别是在实时交互平台中非常有经验；还有的成员擅长将底层代码和美术效果联动，将数据转换成视觉作品……大家分工不同，各有侧重。
“我对工程很喜爱，对艺术也很喜爱。”马少典的本科专业是道路桥梁与渡河工程，研究生考到北京电影学院。他隐约感受到，未来艺术项目不是单纯的有个想法就能够呈现出来，而是需要大量与技术的对话。考入北京电影学院后，他发现，学校在培养过程中也的确鼓励学生们发展综合素养，而不是单单钻研书本里的知识技能。
“虽然此前也参加过国家级的大型活动，但承担这类实时交互作品的系统设计以及现场运行工作，确实是第一次。”马少典告诉记者，在这样超大规模的国家大型演出活动中，实时交互特效能够成为整个演出中的一个不可或缺的元素，呈现给世界观众，展示出实时互动艺术的独特魅力，让他们倍感欣慰。
