场外看冬奥 自由交互技术让你“身临其境”
科技冬奥进行时
◎本报记者 何 亮
手持一部5G手机，点开应用程序，手指触动屏幕的瞬间，国家体育馆里冰球赛场的实时画面就像电影《黑客帝国》中子弹时间的特技般冲击你的眼球。
不论在哪个角落，只需在5G环境下，自由交互式技术可实时提供冬奥赛场的比赛画面，并实现任意视角的自由观赛。4月3日正是“相约北京”冰上项目测试时间，在北京大学前沿计算研究中心采访的科技日报记者亲身感受了一次“异地自主观赛”的神奇。
国家重点研发计划“科技冬奥”重点专项——冰雪项目交互式多维度观赛体验技术与系统项目负责人、北京大学博雅特聘教授陈宝权告诉记者，如果项目成果在冬奥会期间得以应用，届时即便不在冬奥比赛现场，新型观赛技术也能让观众体验别致的“身临其境”，甚至会比在现场获得更自由的观赛体验。
5G高速公路上的“花式”飙车
直播延时30秒，画面实现1080P高清图像，在自由交互观赛的多功能体验中，上述镜头效果得以实现，是5G网络与8K技术提供了基础支撑。
“就像在5G高速公路上进行‘花式’飙车。”陈宝权表示，与传统单独视点的视频传输相比，自由交互的多视点传输在数据容量上是数倍甚至数量级的提高。
在国家体育馆内，项目组实现40余个相机的阵列分布、四分之三场地视频覆盖，“多媒体链路和编解码传输，都是在8K分辨率下进行的。”“自由视角”系统课题负责人盛骁杰告诉记者，随着视点自由度的提高，瞬间传播的数据量变得巨大，对分辨率的要求自然就会提高。
2021年的春节联欢晚会实现8K高清试播，从内容编解码到信号传输实现了革命式变化。
自由交互式观赛则实现了另一种革命式变化——利用8K能力，在内容上提供了一个交互式自由视点的展示与观看。
“聪明大脑”设计一条高效计算的便捷传输路
从场馆图像数据采集到街道任意角落实时观看，一个端到端的解决方案清晰可见，这正是整个项目的难点和亮点。
现场图像拍摄后送往云端，场馆与比赛信息被三维重建，再通过编码与解码提供给观众“自由视点”观看体验。然而，只有40余台相机分布在210米的U形场地内，每台相机间隔近5米，将如何提供全场域的无缝自由视点？
项目组为其配置一个“聪明大脑”。首先，通过三维重建让新视点的合成变得可能；然后，自适应编码与传输技术，根据用户视点改变的意图来预测下一步趋势，进行有针对性的计算与数据传送。“通过实时预测，避免了简单粗暴的计算与数据传输，也保证了8K数据的高效供给用在流畅观看这个刚性需求的‘刀刃’上。”陈宝权说。
除此之外，在自由观赛的时候，往往会有精彩的进球瞬间和猛烈的肢体碰撞不经意间溜进你的视线。这是因为，在赛事转播前，针对比赛的竞技特点，系统对场景进行了推演预判，一个镜头轨迹的规划早早布置在系统之内。“数字孪生推演系统就像比赛现场的导演一样。”陈宝权表示，系统会在随机变化的冰球比赛中计算有效的视点轨迹并合成相应视点内容，将比赛最精彩的镜头实时计算出来推送给观众。
直通寻常百姓的最后一公里
“无特殊的装备，也无专用带宽，仅凭5G手机配合5G网络，用户就可以实现高质量的交互式观赛，使交互式VR技术直通到寻常百姓的手中。”盛骁杰进一步介绍项目的特点：数字化制作的内容可以有机地融合到比赛场景当中，实现赛事内容的增强。
进球轨迹以一条红线展示，运动员的姓名直接显示于他的头顶……在传统转播中以单页插播方式提示的信息，现在可以直接嵌入到实时动态的场景之中。
走进百姓应用的最后一公里，内容的高效生成是关键。陈宝权表示，项目组将在冬奥开幕前最后10个月左右的时间，聚焦冬奥场景现实需求，抓紧技术攻关，不断提高在转播呈现与交互使用上提供优质内容输出的能力。