来源:DEMUXED 2021 作者:Matthew Donato 内容整理:胡经川 本文主要介绍了 Netflix 如何处理原始相机文件,从而为艺术创作者带来更多的便捷。
目录
- 数字工作室工作流程
- 工具缩略词介绍
- 为媒体工作流程赋能
原始相机文件不仅对一般的电影制作人很重要,其对于 Netflix 的全球分布式协作环境也很重要。这些文件包含相机传感器捕获的数据。它们代表负片的数字等价物,后期制作流程都离不开它们。使用 OCF 有一些独特的复杂性,而典型的 Netflix YCbCr 流不存在这些复杂性,它们之间的根本区别在于,专业生产相机捕获的数据通常包含原始的、未处理的传感器数据,必须先进行色彩管理,然后才能在标准计算机显示器上查看。
图1:色彩管理对比
拍摄不仅会生成大量数据,还会生成大量可能不同步的非复用音频以及专有元数据。所有这些都需要存储和组织,而这个 OCF 数据仅构成最终剪辑的分数,这使我们可以选择通过网络发送哪些类型的 OCF 数据,通过解决这些挑战,我们可以消除艺术家和创作者身上的技术负担。
数字工作室工作流程
数字演播室摄影机由佳能、松下、Panavision、Sony 等公司制造。这些高端相机系统设计独特,具有定焦镜头、高位深度传感器和高效压缩算法等个性化功能。正因为如此,相机系统经常使用最能充分利用相机硬件和软件的定制和专有数据格式。电影制片厂之所以选择特定的摄影机系统,是因为这些独特的属性使它们更受欢迎,甚至更适合在不同的电影场景中使用。尽管如此,OCF 视频数据是复杂的,通常需要专有软件工具来读取、解码和以其他方式呈现马赛克传感器数据,以准确再现所记录的场景。这些过程通常是计算密集型的,虽然存在 GPU 和 CPU 解决方案,但它们并不总能保证全分辨率马赛克视频的实时播放。
在后期制作领域,这些专有的相机系统导致了定制的工作流程。根据所使用的相机系统,每个后期制作工作流程都是不同的,这使得 OCF 处理的扩展更具挑战性。我们的目标是利用我们为 Netflix 流媒体平台巩固的云计算和存储资源来提供类似的功能并扩展到我们原始内容的后期制作过程。
图2:定制工作流
尽管捕获格式的技术规范更加多样化,但它们确实有一些相似之处,并且我们可以利用许多开放标准来高效处理和组织摄像机镜头。
工具缩略词介绍
这里介绍六个首字母缩略词背后的技术,它们将帮助你理解我们为创作者带来便利的工具。
CDL 是颜色决策列表,它用于在现场和后期制作中传达 RGB 图像上的点操作,它由美国电影摄影师协会 (ASC) 开发,包含十个十进制数字,用作 RGB 颜色值上的点运算符的变量。前九个数字是斜率、偏移和功率的三元组,通常用 SOP 编写,影响图像的对比度和伽玛,第十个数字代表饱和度。虽然只有十个数组,但是 CDL 允许进行大范围的的颜色操作,ASC CDL 标准不包含来描述它应该应用在什么颜色空间中的元数据,换句话说,将为 Rec.709 开发的 CDL 应用在 Rec.2020 上是不行的。
图3:ASC CDL
LUT 查找表与 CDL 一样被用作点操作来修改 RGB 图像值。当执行颜色变换所需的数学运算比简单的幂函数或 CDL 所描述的更复杂时,通常会使用它们。LUT 有几种语法标准,如图 4 中实例,有一个注释行来描述 LUT 的输入和输出空间,将 LUT应用于 RGB 图像,尤其是高精度的 LUT,是一项计算密集型任务,就像去马赛克一样。
图4:LUT
我们刚刚描述了修改图像值的方法,但我还没有谈到可以应用这些操作的色彩空间。ACES 由电影艺术与科学学院开发,并记录在 SIMPTE ST 2065-1 中。它的初始版本是在 2014 年,它得到了积极的维护,迄今为止已被用于数百部电影。它的图像包含在 16 位浮点 EXR中,这些 EXR 足够精确,不会丢失或压缩重要的颜色信息。它的 AP0 颜色空间足够宽,几乎可以描述人类视觉系统可以感知的任何颜色。它具有线性传递函数。ACES 标准足够广泛,可用于各种后期制作应用程序。AP0 色彩空间比大多数显示器上的 sRGB 色彩空间更宽,这使得 ACES 图像显得不饱和。线性传递函数使它们的对比度看起来降低了,这实际上是因为ACES 线性 AP0 图像是为编码而设计的,而不是为观看设计的。ACES 描述的颜色度量转换可实现观看场景下的转换,ACES中包含多种转换,从将色彩空间编码到 ACES 开始,从场景参考 ACES 值到理想化输出参考显示值的转换,最后是映射到色彩再现在显示器的特性的转换。
图5:ACES
AMF描述的是 ACES 元数据文件,AMF 与视频或图像序列一起出现在 sidecar XML 文件中,该文件携带指令以正确重新创建用于生成图像的 ACES颜色管道。它的范围不限于ACES 定义的颜色变换。例如,它的模式包含基于 CDL 或 LUT 的其他颜色转换的元素。它通过定义输入和输出颜色管道来实现这一点,以便可以在 ACES 规范的上下文中执行 CDL、LUT 或其他操作。
正如有大量的颜色转换规格一样,也有大量的时间线规格。EDL 表示编辑决策列表,是事件的有序列表,这些事件使捕获的剪辑符合电影时间线上的时间位置。此处显示了一种简单的 EDL实现,在此示例中,EDL事件以白色显示,从左到右 包含事件编号、源磁带名称、源类型(V表示视频)、转换类型(C 表示剪切)和四个时间码值(前两个是指要从中剪切的源媒体的时间码,后两个指的是生成的时间线中的时间码,源素材应临时映射到该时间码)。
图6:EDL示例
OTIO 是时间线信息的交换格式,也是用于操作时间线数据的 API,图 7 展示的是 OTIO 的 UI,它可以导入多种时间线格式。对于某些格式,Open TimelineIO 还可以从 EDL 中读取注释。
图7:OTIO的操作界面
为媒体工作流程赋能
典型的工作室制作是数据密集型的,因为需要对场景进行充分覆盖,这意味着导演需要从多个角度进行多次拍摄,让剪辑师可以灵活地构建无缝的最终剪辑,最终电影通常只包含大约 5-10% 的原始数据。拍摄完成后,数据管理员会确保将相机数据都备份三份,因为生成这些数据非常昂贵。
图8:Content Hub
如今,大部分电影和电视作品都在全球发行。电影布景位于许多主要城市,而视觉效果和编辑工作发生在其他地方。Netflix 专注于以多种方式集中和组织相机媒体,即称为 Content Hub 的内容创建生态系统,它使生产团队能够导入、检查和验证 OCF。
在 Netflix 流媒体方面已经利用了媒体检查,这对所有的编码工作流程都很重要。检查算法会生成有关系统中资产的所有技术元数据,例如 Netflix Originals、许可内容、营销材料等。在 OCF 检查的情况下,数据以相机胶卷或声音胶卷的形式到达 Content Hub。
OCF 处理的用例数量持续增长,我们正在积极探索它们,为我们的艺术家和创作者带来更多的便捷。
最后附上演讲视频:
http://mpvideo.qpic.cn/0bc3peacwaaaraaikbqmqzrfa6odfn4qakya.f10002.mp4?dis_k=18206c6f8241acc5d1cabfe35dc2e9d1&dis_t=1647326186&vid=wxv_2271737627852881921&format_id=10002&support_redirect=0&mmversion=false