【新闻】LIPS研究项目采用ARRI摄影机与灯光同步技术

ARRI中国

LIPS研究项目采用ARRI摄影机与灯光同步技术

LIPS代表“节目制作与特殊活动实时互动服务”（Live Interactive PMSE Services），该研究项目获得德国联邦经济事务和能源部（BMWi）拨款，多家行业和研究机构合作伙伴在一个专业制作网络上展开密切合作。LIPS旨在创造一个延迟极低，声光画同步，高度临场感的观赏体验，运用一切可用的新平台和新技术将不同空间位置的现场表演以互动、沉浸式的方式衔接起来。LIPS的总体目标是基于新开发的IP音频/视频制作设备实验出解决方案，促进和提高偏远地区在大都市的创意、文化和政治活动中的参与度和便利性，反过来也是一样，双向促进。LIPS项目还为包容性做出了重要贡献，因为它为那些行动障碍不便远行的民众提供了解决方案，让他们能够身临其境地参与公共活动。

LIPS联盟

为了打造将各种设备、不同地区的节目源头衔接融合在一起的技术基础，改进沉浸式音视频体验，各方必须贡献自己的才智，群策群力，于是在2018年，LIPS联盟成立了。加入此联盟的公司有森海塞尔、TVN、Smart Mobile Labs和ARRI，研究机构则有汉诺威大学莱布尼兹研究所、弗劳恩霍夫·海因里希·赫兹研究所和埃尔兰根-纽伦堡大学弗里德里希·亚历山大研究所。每个成员都有自己擅长和专攻的领域，ARRI系统架构工程师，担任LIPS技术项目经理的赫曼·波普（Hermann Popp）说：“ARRI的任务是与摄影机、灯光有关的设备与技术支持服务。”在ARRI集团内部，还有数不胜数的同仁为这个项目提供关键的技术保障。

包括ARRI系统架构工程师赫曼·波普在内，无数ARRI人参与LIPS项目

在线音乐演出应用案例

其中的一个应用案例是实现远程音乐同步演出，该学生乐团的部分成员——钢琴手维克多·阿德林·蒙特隆戈（Victor Ardelean Montelongo）、贝斯手汉斯·科内克（Hans Koennecke）——身处慕尼黑的音乐与戏剧大学，乐团的另外一半——鼓手马克思·多斯特（Max Dost）、吉他手朱利安·斯卡瑟拉（Julian Scarcella）和键盘手卢卡斯·布莱克斯（Lukas Blecks）——远在慕尼黑北部570公里之外邻近汉诺威的韦德马尔克镇，这里是森海塞尔的总部。这支异地乐团的合奏“实地测试”透过互联网传输，在各自的琴房用大平板电视模拟了一个虚拟的录音室玻璃窗，使得每一边的现场都能同时听到、看到所有乐手的表演，就连光线也是实时调整同步的。赫曼·波普说：“将两个异地琴房连接在一起，实现最真实的临场感。现场所有人都应该时时感觉到，对方就在眼前。”
两个琴房采用了完全相同的摄影与灯光设备，利用千兆数据带宽的广域网连接。6个声道、1路视频流以及灯光控制信息在网络上双向传输。

一部分乐手在慕尼黑，另一部分在570公里之外的韦德马尔克镇。慕尼黑的基础光使用两台ARRI SkyPanel S60-C。

摄影机和显示设备

双向低延迟图像管道是必要条件，摄影机或显示设备都要满足要求。ARRI为LIPS项目专门开发了特别版的软件和摄影机固件，这些实验机型与量产的ARRI摄影机具备一样的影像传感器、画面处理电路，色彩滤波阵列匹配肉眼的感知特性和高反差成像能力。但是为了支持图像传输、同步和控制，这些特殊机型原生具备All-IP网络功能，每一台机器都能通过10Gb/s以太网线发送视频流，同时接收网络远端传来的图像。摄影机内部使用ProRes编码压缩和解压缩视频数据，解压后的画面信号通过一个同步的SDI接口输送到大屏显示器上。慕尼黑与韦德马尔克使用的摄影机通过精确时钟协议（PTP）同步，使用典型的协议堆栈：以太网、IP、UDP、RTP、媒体封包和压缩视频负载。使用MXF Live封包实现了数据一致性和信号流与文件之间的无缝过渡。

LIPS力求从场景到图像再现创造一个经过校准的线性图像路径，对于显示设备来说，要求数字信号输入值和对应的亮度输出值保持一个经过定义的恒定的比值。SMPTE ST 2084标准在高动态范围内定义了适合的关系，拥有基于感知的有效量化。经过各种测试后，研究组选择了大屏幕OLED显示器，它们能够稳定和充分地提供LIPS所需的特性。

灯光

让两个不同的环境感觉上像处于同一空间，基本上要靠光线的匹配。LIPS尽可能保持自然光照明，保留真实环境感，避免风格强烈的棚内用光风格。为了实现这个目标，研究组使用中央照明控制装置对每个位置的光源进行测量和处理，计算两地的光线色彩坐标值和光线强度，得出一个共同目标值，然后通过添加最少的人工照明来趋近这一目标。每个场景的参数都经过有针对性的计算。

此过程持续进行不中断，使得自然光就算发生改变，两个场景整体的光线照明依然是一致的。LIPS使用的ARRI LED全光谱多通道灯光设备能够在很大范围内平顺接近计算出的目标值，色彩坐标和强度精确匹配。此次用到两种类型灯光：两台经过改造的ARRI SkyPanel S60-C搭配大型柔光箱放置在靠近窗口的位置模拟自然光，为整个场景提供基础照明；两台ARRI L5-C螺纹透镜灯搭配可调节镜片和遮光板，便于聚光和控制指向，用于场景塑造和局部填充。

两台ARRI L5-C螺纹透镜灯搭配了可调节镜片和遮光板，便于聚光和控制指向，用于场景塑造和局部填充。

LIPS在慕尼黑的正式演出

经过长时间的系统整合和网络调试准备，长达几个月的两地实地测试，两边的大学乐手不断实验和评估新技术的改进情况，终于在2020年10月16日，LIPS项目在慕尼黑音乐与戏剧大学举行了正式演出并通过YouTube公开直播。

演出相当成功，那么乐手们对这次互动表演的感受如何？身处慕尼黑的钢琴手维克多·阿德林·蒙特隆戈评价道：“真实度99%，延迟非常低。”远在韦德马尔克的键盘手卢卡斯·布莱克斯则强调“好像对方就在隔壁房间一样。”吉他手朱利安·斯卡瑟拉补充说：“这是一个很棒的录音或排练环境，但很可惜缺少了观众的互动。”

（YouTube画面截图）这场LIPS异地同步音乐会在YouTube进行了直播

LIPS的前景

LIPS项目和这个应用案例将当前基于网络的音乐演出的极限又往前推进了一步。支持更高一层面的沉浸式体验，利用All-IP网络将音频、视频、灯光和同步功能全部包含在内的技术大融合是一个关键的推动力。现在在两端实现沉浸体验的技术需求已经明确，LIPS联盟成员将继续致力于原型方案实施和基于All-IP的沉浸式制作网络的可行性验证。

在ARRI工作了30年的赫曼·波普强调：“在LIPS项目中，我们首次实现了摄影机与灯光基于IP技术的精确同步，这些基础技术或多或少会体现在我们未来的新产品中，为新的应用方式铺平道路。”

“音/视频流传输和基于IP的摄影机和灯光控制将是专业影视制作环境未来的一个重心，”ARRI集团执行董事会成员迈克·纽海斯博士（Dr. Michael Neuhaeuser）总结说：“和我们的合作伙伴一起，LIPS能够总结相关领域的宝贵经验并成功运用在实验项目中。ARRI后续的产品研发，无论是摄影机、摄影机技术支持、灯光或彼此之间的协作，肯定会从中受益，加快向IP架构的整体转换。”

---

关于ARRI:

阿诺莱德电影技术公司（ARRI）是一家电影行业的全球化公司，全球雇员约1500名。公司创立于1917年，时至今日集团总部仍然设立于德国慕尼黑，并在欧洲大陆、北美、南美、亚洲和澳大利亚设立多家分支机构。

ARRI集团业务由五个商业部门组成：摄影机系统、灯光、媒体、租赁和医疗。ARRI是全球领先的电影摄影机与灯光系统设计与制造商，经销商与服务网络遍及全球。同时，ARRI也是后期制作领域的集成媒体服务提供者与面向专业制作领域的设备租赁、摄影机供应、灯光与器材装备的供应商。ARRI Medical专注于利用自身核心图像技术服务于外科手术应用。

ARRI的工程师与技术贡献共获得电影艺术与科学学院颁发的19座科学技术奖。
地址与更多信息请访问www.arri.cn