【摘要】HDR高动态范围影像需要合成处理。HDR高动态范围影像由至少两组不同曝光的画面构成。为了让这些不同曝光的画面显示在10bit、12bit甚至16bit的图像通道中，我们需要用特殊的叠加方式合成这些图像。另外，尤其在多机HDR方案中，多组动态影像的对齐也是不可或缺的核心技术（见图1）。
【关键词】HDR 动态范围合成 图像对齐 HDRx
近期中国电影科学技术研究所就高动态范围连续影像进行了拍摄与合成实验，其中包括单机、双机两种方案。这两种方案的合成方式也不尽相同。
立体影像解决方案可以直接处理HDR高动态范围影像。目前立体影像处理软件已经相对成熟，且对齐、分轨校色、双路显示等核心功能已经相对完善。例如Nuke及其Ocula插件、Mistika立体后期系统等。
下文主要介绍使用Nuke合成软件及其Ocula立体插件来进行HDR高动态范围影像的合成工作。
一、HDR高动态范围影像的对齐处理
在多机HDR方案中，由于前期拍摄使用的立体支架在物理上的不稳定性，半透半反镜片、三棱镜自身不可避免的光学畸变，导致两组未经处理的不同曝光影像是不重合的。这个核心问题不解决，多机HDR影像方案就没有实用意义，下文中将高曝光镜头称为A，低曝光为B。
图2 导入高、低曝光的两组镜头
首先，通过read接点分别导入两组不同曝光的影像（图2）。再分别确认并设置好影像的色域，我们这组镜头是使用RED ONE摄影机和RED space色域拍摄的，因此首先要确认read节点中两组影像的色域是否与拍摄时使用的色域一致，即是否均为RED space。在单机EPIC方案中，还要额外确认两个read节点中的HDRx开关分别为高曝光和低曝光。
由于半透半反镜片的反射关系，B轨镜头呈倒像。于是我们在B轨镜头下添加Mirror节点做垂直翻转处理。
接下来添加TimeOffset节点调整并确认B轨镜头在时间线上与A轨同步。
随后，添加Ocula插件中的JoinViews节点，以便能够利用立体插件来处理A、B两轨画面。在这里，我们把高曝光的A轨画面当作left左眼画面、把低曝光的B轨画面当作right右眼画面导入JoinViews节点，并在Nuke界面上方点选left显示左眼（A轨）画面。
最后我们要用Ocula插件中的自动分析像素位移（视差）和自动对齐（调整视差）功能来对齐A、B两轨画面。但经过实验发现，HDR高动态范围影像经高、低曝光得到的A、B两轨画面和传统立体影像曝光一致的两轨画面不同，A、B两轨曝光差异较大，一轨中大量像素特征点在另一轨中已经不可见，以至于自动分析像素位移的效果大打折扣。
图3 在自动对齐前加入色彩匹配节点
因此，我们要先进行两组画面的色彩及亮度匹配，以便使用Ocula的自动分析像素位移和自动对齐功能。在多视角JoinViews节点下添加O_ColourMatcher色彩匹配节点（见图3）。
图4 在色彩匹配节点中选择Right to Left
因为高曝光A轨亮部细节损失较多，而低曝光B轨整体画面保留了更多的细节只是曝光不足，因此在O_ColourMatcher色彩匹配节点中选择色彩匹配的方式为Right to Left（见图4），即右眼按照左眼做色彩匹配。通过点选界面上方的right选择右视图，我们可以看到
图5 经色彩匹配后的B轨
右眼低曝光的B轨（见图5）。此时色彩亮度信息已经与左眼高曝光的A轨（见图6）基本一致，可以进行下一步的自动分析像素位移和自动对齐像素工作了。此时的低曝光B轨我们只用作为对齐像素提供对齐信息，最后的动态范围合成还是会使用原始的B轨，因此这里由于色彩匹配造成的色彩失真和噪点因素不必考虑。
图6 高曝光的A轨
图7 通过红绿立体监视节点观察两组画面的对齐情况
在O_ColourMatcher色彩匹配节点下加入Anaglyph红绿立体监视节点并观察。可以观察A、B两轨像素不重合的情况（见图7）。
图8 通过红绿标记观察像素偏移的分析结果
按D关闭Anaglyph立体红绿监视，接着加入O_Solver立体分析节点。在O_Solver节点的菜单中选择对齐方式，这里我们选择Camera Rotation方式。打开Preview Alignment选项可以通过红绿标记观察像素偏移的分析结果（见图8）。
图9 加入自动对齐节点
接着加入O_VerticalAligner自动对齐节点。用Solver连接上一步O_Solver的分析结果，用Source连接视频源、也就是关闭红绿显示的Anaglyph节点（见图9）。
图10 设置自动对齐节点
在O_VerticalAligner节点的菜单中选择Left to Right和Camera Rotation。即用Camera Rotation方式让左眼高曝光A轨对齐右眼低曝光B轨（此时对齐的是色彩匹配后的临时B轨）（见图10）。
在O_VerticalAligner自动对齐节点下添加Anaglyph红绿立体监视节点并检验对齐结果（见图11、图12）。
至此我们便得到了用低曝光B轨像素位置信息对齐处理过的高曝光A轨。
图11 对齐处理前的红绿监视
图12对齐处理后的红绿监视
二、HDR高动态范围影像的动态范围合成
1. 双机方案的动态范围合成
经过上一节所做的操作，我们得到了用低曝光B轨像素位置信息对齐处理过的高曝光A轨。接下来将用经过对齐处理的高曝光A轨与原生的低曝光B轨进行动态范围合成。
图13 加入Merge节点
现在加入Merge节点。把经过对齐处理的高曝光A轨与原生的低曝光B轨分别接入Merge节点的A点和B点（见图13）。
在Merge菜单中的叠加方式里选择合适的叠加方式（见图14）。这组镜头我们选择screen方式也就是A+B-AB。由于不同曝光差的高动态范围镜头组的曝光差不同，叠加方式的选择没有绝对性。有些亮度曲线相对平滑的镜头组，甚至可以用average也就是（A+B）/2，再具体调节A轨和B轨所占的权重。通常用到的叠加方式主要是screen、geometric、xor、average等几种。同时可以通过调节Merge菜单中的mask来导入遮罩做局部调色，也可以通过下面的mix调整动态范围合成中高、低曝光两轨的权重，以达到理想的合成效果（见图15）。
图14 选择合成方式
图15 Merge菜单
2. 单机方案的动态范围合成
使用RED EPIC单机方案的高动态范围影像，是指拍摄时设定并打开EPIC摄影机中HDRx功能所拍摄的高动态范围影像。只有选择RED color3色域才能开启HDRx功能，HDRx功能可以在拍摄时选择低曝光轨比高曝光轨减1~6档曝光。处理这种单机EPIC HDR高动态范围影像，比较快捷的方法是在RED公司提供的REDCINE-X软件中导入素材，并在右侧面板中HDR Mode选择Magic Motion模式，其下面的参数用来调整高、低曝光两轨的权重。另外在新版的达芬奇Resolve及Assimilate Scrach等调色软件中也已经支持HDRx格式的调色。下面我们来看一组传统拍摄方式画面（见图16）和开启HDRx功能拍摄画面的对比（见图17）。
图16 传统拍摄未打开HDRx功能时过曝的画面
图17 打开HDRx后拍摄的画面
这是一条车手在林荫路骑行的镜头，拍摄时摄影机以车手在树荫下曝光正常来曝光，可以看到当车手骑行至阳光下时画面过度曝光，而开启HDRx功能并准确设定低曝光轨曝光后画面曝光整体正常。传统拍摄这个镜头时，通常以车手在阳光下进行正常曝光，结果就是车手在经过树荫下时面部以及主体因曝光不足，而漆黑一片，以至无法完成拍摄。
此外REDCINE-X中HDR Mode中还有一种Simple Blend方式，也就是（A+B）/2，可以用在某些特殊的环境中。
虽然REDCINE-X这种开关式的调整方法适用于大部分情况，但有些情况下显得合成方式相对单一固定、可调节范围相对小，达不到预期的效果。这时候我们就需要用到上文所述的双机高动态范围合成方案。也就是把单机画面分别以高曝光和低曝光两次导入合成软件，再做进一步的动态范围合成，以达到预期的效果。
3. 基于Photoshop的高动态范围影像合成
前面介绍的高动态范围连续影像合成是为了让在高动态范围环境下拍摄的影片更接近于人眼的视觉体验，而利用Photoshop等静止图像工具中已经成熟的HDR合成功能，我们也可以轻松创造出超越现实的高动态范围连续影像体验。
首先，我们在Photoshop文件菜单中找到HDR Pro（见图18）。
图18 在Photoshop中找到HDR Pro
然后打开不同曝光的图像（见图19）。
图19 导入不同曝光的影像
再设定两组曝光影像的EV值。例如这组镜头摄时差三档曝光，就设为0和3（见图20）。
图20 设定EV差值
再经过调整右侧面板（见图21），就可以得到如下图般超越现实的高动态范围效果。最后对图像序列进行批处理，就可以得到HDR高动态范围的连续影像了（见图22）。
图21 左侧面板
不同曝光的影像对于像Photoshop这类图像工具的HDR合成功能来说，是越多轨越好，我们更可以先用高曝光轨与低曝光轨合成出一轨正常曝光的影像，再用Photoshop的HDR功能处理这三轨，最终的效果要比单单处理高、低曝光两轨更好，直方图也会更匀称。再近一步，如果利用双机EPIC开启HDRx来拍摄素材，用Photoshop来处理不同曝光的4轨~6轨素材，那么效果将会更上一层楼。
图22 基于Photoshop HDR批处理的HDR连续影像
三、HDR高动态范围影像的存储
HDR高动态范围影像合成技术并不是调色，而是为调色师提供更多的动态范围，保留更多的亮度信息和画面细节，从而提高影像质量，提高观影体验。
图23 传统拍摄的画面亮度信息
通过观察传统拍摄的画面直方图和实际画面（见图23），我们可以发现，由于拍摄环境光比过大，摄影机的动态范围有限，保留了高光细节，但趾部的暗部细节已经一团糟甚至被一刀切不可见。我们再来看看双机HDR所合成画面的亮度信息（见图24）。
图24 双机HDR合成画面的亮度信息
通过观察直方图和实际画面，我们可以发现，直方图无论肩部还是趾部都被完整的保留了下来。亮部与暗部信息丰富、曲线平滑。在高光比环境下,传统拍摄的画面无论采取何种调色手段,都无法重现因动态范围不足而损失的画面细节。HDR高动态范围画面相比传统拍摄，充分体现了HDR高动态范围的优越性。为后期调色再创作提供了绝佳的素材，为提高观影体验提供了可能性。
图25 HDR影像的储存
在HDR后期制作流程中，我们采取16bit储存方案（见图25）。拍摄源素材为10bit，我们在HDR后期合成中时，将两组不同曝光、不同动态范围的10bit源文件，合成储存在16bit文件中，最大限度的保留了丰富的动态范围。通俗地讲，就是高动态范围的画面采用16bit保存“铺得更开”。由于高动态范围画面有着丰富的画面细节，它值得被“铺得更开”，从而为后期调色提供更多的画面素材。而传统拍摄的画面虽然也可以用16bit甚至32bit保存，但实际效果只是浮点拉伸直方图，让直方图产生断层、没有实际的意义，凭空为后期存储和运算增加压力。
四、HDR连续影像后期工作流程
HDR连续影像的后期工作流程（见图26）。
图26 HDR连续影像后期工作流程
如果影片少量使用HDR拍摄方式拍摄，那么可以直接处理HDR素材，输出后导入素材库，再进行传统后期流程处理。
如果影片大量使用HDR拍摄方式拍摄，那么应先对所有素材进行剪辑，输出EDL，从中挑出需要用到的HDR镜头进行处理。再把处理过的素材导入素材库，最后EDL套底。因为如果先将大量HDR镜头全部进行动态范围合成，但最后只会用到其中的少数，那么势必会造成时间和资源的极大浪费。
单机EPIC的HDR素材可以直接用RED CINE-X、Resolve等软件处理。若曝光复杂上述软件无法达到预期效果，则可以导入Nuke等合成软件按照双机多轨高动态范围合成来处理。
作者：中国电影科学技术研究所 周令非
