2022年2月4日,北京又一次成为了全世界的焦点,北京2022年冬奥开幕式奉献了“你没有理由错过的一场表演”。总导演张艺谋先前表示:“本次开幕式的理念是用科技让开幕式‘人少而不空,空灵而浪漫’。节目设计将展现自然之美、人文之美和运动之美,向全世界传递战胜疫情的信心。”
为了践行“节俭办奥运”理念,北京2022年冬奥会开幕式既要做到演员规模小,演出时间短,也要展现参与更广、更加精彩的效果。这些要求在鸟巢这样大型的场地上,如何让屏幕影像、视觉特效和设备装置最后呈现出一场完美、高品质的表演,成为一个巨大的挑战。这就需要提供一种高科技与高水平艺术完美结合的解决方案,让这场开幕式真正成为一次科技力、艺术感、体育精神、人类价值之间开创性的完美融合。
冬奥开幕式里的“艺术”
空灵、浪漫的艺术风格贯穿开幕式始终,但其中有两个瞬间尤为动人。
© IOC 2022。 All Rights reserved。
几组滑冰运动员灵动地游走在覆盖着冰雪的“湖面”上,他们栉风沐雪勇敢地前行,漫天流动的风雪,在运动员的脚下实时消散,镌刻着“更快,更高,更强,更团结”中英文奥运口号的湖面氤氲浮现。奥运精神感染着在场所有的观众。
© IOC 2022。 All Rights reserved。
伴随着美妙的和声,五百多个孩子手持着发光的和平鸽出现在国家体育场的中央,他们每人脚踏一簇晶莹的雪花,在舞台上自由自在地欢笑嬉戏,就像五百多名小天使把和平和微笑带给现场和电视机前的每一个观众。童趣与温馨同在,壮观与可爱并存。这个节目是历届奥运会开幕式上的规定动作,在本届冬奥会上和平鸽环节安排在奥运火炬点火仪式前,给所有人都留下了深刻的记忆。
国家体育场铺设的LED大屏系统与演员之间的实时“互动”成为了本次冬奥开幕式一大亮点。总导演张艺谋此前曾透露,本次冬奥会开幕式运用了大现场实时捕捉的一种互动技术。
“你可能在某些场地上,会看到雪花跟演员的流动,完全是互动的,人到哪里,雪花到哪里,或者雪花就会分开,给人让出来。这样的互动,不是你精准排练或者视频和人的精准合成可以做到的,像这样的一种东西都需要新的科技。”
——张艺谋
北京2022年冬奥会和冬残奥会
开闭幕式总导演
冬奥开幕式里的“科技”
风雪特效跟运动员的配合天衣无缝,运动员所到之处“风雪消融”;雪花与孩子如影随形,陪着孩子们在舞台上自由地移动……人与艺术效果的默契配合成为了演出成功的关键。
而这种“默契配合”并非精准排练的结果,它来自于一个更高效、更科技的手段——英特尔®3DAT三维运动员追踪技术,它带来了可以让地面的屏幕瞬间对演员位移做出实时反馈并呈现艺术效果的技术方案。英特尔联合北京电影学院专业团队基于英特尔的3DAT技术针对冬奥开幕式场景定制开发的“基于AI的大型演出实时特效系统”是实现整个节目创意的关键技术。
英特尔® 3DAT三维运动员追踪技术是一套复杂的系统,它由摄像机信息采集、数据分析、艺术效果渲染三大子系统构成,其核心算法是基于计算机视觉、AI的实时人体检测和位置追踪技术。正是因为这套系统运行在第三代英特尔®至强®可扩展处理器上,其强大的算力加上先进的AI和计算机视觉算法,让国家体育场地面上铺设的这块巨大的LED屏幕有了“可交互”的可能。
然而演员与系统的“互动”并非那样简单,有两个核心的问题需要解决:
第一,要精准地识别出舞台上的演员并定位他们的位置。国家体育场巨大的舞台需要摄像机及核心算法的覆盖,夜晚的环境、周围各式各样的布景灯光、演员服装的颜色、演员的动作姿态尤其是几百人自由移动状态下人影的重叠等等,这些都对3DAT人工智能核心算法提出了极高的要求。
其次,演员与系统的互动必须是“实时”的,要能够呈现出“默契配合”的艺术效果。如果艺术效果的呈现稍有延迟,观众就会看到拖影、卡顿,认为系统不够“灵敏”,让艺术呈现大打折扣。这就需要技术团队不断地压缩整个系统里各个环节的响应和反馈时间,压缩到极致。
现在,让我们通过《雪花》节目的演绎,来看看英特尔是如何解决这两个难题的。
在《雪花》节目中,总共有五百多个孩子在场地上表演,我们的任务是尽可能准确识别每个孩子并精确计算他们在场上的真实位置。从技术角度我们面临很多挑战,孩子们在一个很大的场地表演,他们的运动范围覆盖全场,孩子们随意走动,并完成多次复杂的动作变化,现场环境几乎没有舞台灯光。为此,我们在距离场地最远的6层看台处放置4台专业摄像设备,用于捕捉覆盖全场的视频信息。针对节目表演特点及摄像机视频数据特性,凭借丰厚的AI技术储备,我们精心设计开发了多个深度神经网络模型,能够高效检测识别这么多的演员并实时输出他们的运动轨迹数据。
在实时性上,英特尔依靠的是来自边缘计算系统的强大算力。摄像机将采集到的数据信号通过光纤传输到英特尔在国家体育场内搭载的第三代英特尔®至强®可扩展处理器的边缘计算系统。第三代英特尔®至强®可扩展处理器,支持8通道DDR4,64条PCI EXPRESS 4.0通道,全面增强I/O吞吐量,为实时、大量、精准度要求高的图形、影像处理和3D建模、数据分析,提供坚实基础。在测试中,我们发现搭载第三代英特尔®至强®可扩展处理器的系统性能稳定,可保证系统长时间连续运行。同时在传输效率上,基于英特尔®OpenVINO™视觉工具套件进行开发,进而实现精准、流畅、实时的视频数据读取、预处理。从图像采集识别、检测和处理,只需要几十毫秒的时间,真正做到了实时传输。
最终,由北京电影学院的艺术效果团队基于每个孩子的位置在地面实时渲染出艺术特效,同时迅速反馈给LED控制器,有了这种巧妙的配合,观众就可以看到孩子们脚下的屏幕与他们默契交互的惊艳效果了。
总之,3DAT所拥有的强大算力以及先进的AI算法让实现大范围、多人数、高精准、低延时实时数据采集、分析成为了可能。至此,英特尔以领先技术为开幕式艺术效果驱动,让国家体育场成为了演艺人员灵敏且绚丽的表演道具,打开了节目创作的全新思路。最终给大家呈现了一场美轮美奂的视觉盛宴。
英特尔和北京电影学院的联合项目组从2021年6月份开始进行项目预研,在7月中旬第一次给张艺谋导演及北京冬奥组委开闭幕式工作部常宇部长展示了英特尔3DAT实时互动的技术解决方案,10月份开始进入国家体育场部署演练,大家奋战100多天,最终给全球观众呈现了这场无与伦比的表演。
英特尔在国家体育场部署了包含5台搭载第三代英特尔®至强®可扩展处理器的边缘计算系统、大容量光纤、摄像录制系统、渲染系统,配备了多达40余人的工程师团队全程保驾护航。大家牺牲了元旦和春节假期以及绝大多数周末时间,经常在鸟巢演练和彩排到深夜……现在看来,一切的付出都是值得的,成功助力北京冬奥开幕式成为了现代科技美学演绎的典范。
3DAT技术也将被广泛应用于很多领域,特别是在赛场之外为运动员训练提供专业洞察的领域。3DAT技术通过人工智能和计算机视觉算法,对采集到的视频数据进行智能分析和处理,能够高质量重建人体骨骼关节在真实空间的三维运动信息,基于此信息可以进行生物力学特性及运动表现分析,帮助教练员制定科学正确的训练方法,为运动员的日常训练提供切实有用的技术支持。3DAT技术在未来将落地至健康、理疗、动画、游戏等更多场景,革新人们生活的方方面面,创造无限精彩。
英特尔一直都在践行宏旨:创造改变世界的科技,造福地球上每一个人。英特尔领先科技的加持,让打造一场“简约、安全、精彩”的冬奥开幕式成为了可能。而在本届冬奥会上,英特尔的创新技术如AI数据分析、360° VR技术平台、VSS数字孪生场馆模拟仿真系统等都将得到展现。冬奥只是“科技创造美好”的缩影,在未来,英特尔将用更多的科技力量,让全世界更多领域都能感知到触手可及的美好。