基于双向结构相似性和加权低秩矩阵补全的高动态范围成像

抽象的

高动态范围成像(High dynamic range imaging, HDR)是一种通过合并多曝光图像来增加图像动态范围的成像技术。由于摄像机运动和场景中的物体运动，幽灵经常在合成图像中被观察到。低秩矩阵补全(LRMC)提供了一种有效的消除幽灵的工具。但是，需要包含或排除区域的用户规范。本文提出了一种基于双向结构相似性和加权低秩矩阵补全的HDR成像方法。在我们的方法中，我们首先提出包含前向投影结构相似度(FPSS)和后向投影结构相似度(BPSS)的双向结构相似度，将每张图像分为四组:运动区域、源图像中的饱和区域、参考图像中的饱和区域、静态和不饱和区域。然后，在加权LRMC模型中引入基于FPSS和BPSS构造的权值映射和运动映射来重建背景辐照度映射。实验结果表明，该方法优于现有的三种最先进的方法和Photoshop cs6，对参考图像具有较强的鲁棒性。

1.介绍

典型的数码相机捕捉每个彩色通道的图像为每像素8位，这远远低于真实场景的动态范围。因此，场景中黑暗或明亮部分的细节在一张图像中是缺失的。这个问题可以通过合并不同曝光设置下的图像来解决，因为不同的区域信息可以在特定的曝光下被捕获[1］．

有些方法在恢复相机响应函数后，将估计的辐照度图像加权求和生成高动态范围(HDR)图像[2，3.]，而另一些则通过适当调整权值，直接生成类似hdr的低动态范围(LDR)图像，作为输入LDR图像的加权和[4- - - - - -6］．如果场景是静态的，这些方法可以很好地执行。然而，由于在应用中很难避免运动，因此在合成图像中经常观察到鬼。因此，在HDR成像中去除鬼影是必不可少的[7- - - - - -9］．

由于摄像机运动可以通过固定摄像机或采用全局配准方法来避免，所以目前大多数的研究都集中在场景中的物体运动校正上[10- - - - - -12］．现有的目标运动去除方法主要包括两类:基于选择的方法和基于修正的方法。选取方法(13- - - - - -16[将结果图像生成作为所有输入图像的加权之和，或者基于所有梯度图像的加权和，其中0或小权重被分配给运动像素。这些方法在某些情况下表现良好;然而，它们通常严重依赖于对运动像素的精确检测。

基于校正的方法基于相关性对运动区域和饱和区域进行重构。例如，Sen等人[17和Hu等人[18]采用了小块匹配的方法，为每个像素搜索最接近的小块，并用该方法对运动区域和饱和区域进行校正。然而，在融合后的图像中，饱和区域会出现失配，图像会出现模糊。齐默等[19]提出利用光流寻找密集对应，并在此基础上重建HDR图像。然而，由于大位移，通信失败。

排名最小化在图像恢复中提供了有效的工具[20.- - - - - -22］．基于图像强度与场景辐照度线性的假设，Oh等[23]首先提出在HDR成像中引入秩最小化来检测运动，利用估计的稀疏误差来确定权值图。Bhardwaj和Raman [24]改进了原鲁棒主成分分析(robust principal component analysis, RPCA)算法中的软阈值函数来恢复低秩矩阵，采用基于金字塔的方法将其组合[4]获得所得到的背景辐照度图。Lee等人。[25]通过引入低秩矩阵补全(LRMC)对模型进行了改进。然而，这些方法也存在基于选择的方法所存在的问题。为了解决这个问题，Oh等人[26将秩1约束引入到LRMC中，并将奇异值的部分和替换为核范数。估计的低秩矩阵为背景辐照度图。李及林[27]采用截断核范数最小化来加速算法。然而，它们的表现高度依赖于缺失区域的选择。在[26，27]，部分缺失区域需要用户规范。当场景很复杂时，用户很难这样做。

针对基于LRMC的HDR成像方法的局限性，提出了一种基于双向结构相似性和加权LRMC模型的HDR成像方法。首先，我们提出了双向结构相似性，将图像分成四组:运动区域、源图像中的饱和区域、参考图像中的饱和区域、静态区域和不饱和区域。与亮度变化无关的相似性度量，如局部熵[28]，零平均归一化交叉相关[29，30.]、相互一致性和不一致性[31]，信号结构分量的方向[32，用于检测运动区域。这些方法在许多情况下表现良好，但容易将源图像中与参考图像中饱和区域对应的曝光良好区域误认为目标运动。考虑到在相似度检查之前需要将图像转换为相同的亮度水平，我们观察到运动区域和饱和区域的结构变化分别是双向和单向的。为了便于后面的讨论，从参考图像到源图像的投影称为正向投影(FP)，反向投影称为反向投影(BP)。运动区域的结构在FP和BP中都发生了变化;源图像饱和区域的结构在BP中发生变化，在FP中保持不变;参考图像中饱和区域的结构在BP中保持不变，在FP中保持变化。因此，我们提出了包括FP结构相似度(FPSS)和BP结构相似度(BPSS)在内的双向结构相似度，以更准确地检测运动区域和饱和区域。然后，基于FPSS和BPSS构造运动映射和权值映射，并引入基于加权lrmc的方法。该方法不需要用户指定缺失区域，对参考图像具有较强的鲁棒性。

本文的其余部分安排如下。基于双向结构相似度和基于加权的LRMC的方法的所提出的方法描述于一节中2．部分3.讨论实验和结果，在本节中给出结论4．

2.基于双向结构相似性和加权LRMC的HDR成像

本节介绍了一种基于双向结构相似性和加权LRMC的HDR成像方法。数字1说明了所提方法的概述。鉴于n不同曝光LDR图像{我₁，我₂、……我_n}，其中每个图像的像素数为米,一个图像我_r(1≤r≤n)作为参考图像，其他为源图像。我们假设n图像通过应用全局配准方法进行全局对齐[12］．首先，对每个源图像进行双向结构相似性度量，包括FPSS和BPSS。然后，将所有像素分为四组:运动区域、源图像中的饱和区域、参考图像中的饱和区域、静态和不饱和区域。噪声会导致不正确的区域检测。因此，我们将FPSS和BPSS引入到图切割中，生成最终的运动映射和权值映射，并将其集成到加权LRMC模型中。加权LRMC模型的低秩矩阵对应背景辐照度。

２.１.双向结构相似

在以往的方法中，通常先使用FP来测量两幅不同曝光图像之间的相似性。源图像中的不饱和区域与参考图像中的饱和区域相对应，被误认为是运动区域。非饱和区比饱和区具有更丰富的细节。当非饱和强度投影到饱和强度时，强度差之间的压缩导致细节缺失，使得投影区域与饱和区域相似。而当饱和强度投影到非饱和强度时，压缩强度差无法恢复，结构相似性较低。因此，参考图像饱和区域的像素具有小的fps和大的BPSS，而源图像饱和区域的像素具有小的BPSS和大的FPSS。运动区域中的像素具有较小的fps和较小的bss。

数字2说明了FP和BP中两幅图像之间的结构相似性，其中图2(一个)是参考图像和图吗2 (b)为源图像。数字2 (c)是(b)的后向投影，(d)是(a)的前向投影2 (e)和2 (f)为(a)和(b)之间的BPSS和FPSS。用红框标记的三个区域分别代表源图像中的饱和区域、参考图像中的饱和区域和运动区域。从数据2 (e)和2 (f)，可以看出区域1具有小BPSS和大FPSS，区域2具有大BPSS和小FPSS，区域3同时具有小BPSS和小FPSS。根据上述现象，可以将每张图像分割为四组:运动区域、源图像中的饱和区域、参考图像中的饱和区域、静态和不饱和区域。

如纸上所述[32，预计基于补丁的结构相似性最佳代表结构相似性。与先前的方法不同，所有颜色通道都是共同考虑的。我们使用具有最大结构变化的颜色通道来确定结构相似性。因此，两种不同曝光图像之间所需的结构相似性我_我和我_j由所有颜色通道的最小结构相似性决定: 在哪里R，G,B分别表示彩色图像的红色、绿色和蓝色通道，var_k，p(∙)为大小为9 × 9的窗口前后的方差的通道k,浸_k，p(∙，∙)为协方差c₁是一个小常数，以避免分母和分母为零，并设置为0.03。

对于平滑区域，各颜色通道的强度相似度响应结构相似度。直接使用这种关系的方式如下: 在哪里μ_k，p（∙）表示周围窗口中的平均值p的通道k和c₂是一个小常数，以避免分母和分母为零，并设置为0.01。

对于饱和区域，强度差被压缩。当饱和区和非饱和区强度差相同时，饱和区相似度小于非饱和区相似度。因此，我们引入了良好曝光[4，用来测量强度与饱和强度之间的距离，以表示相似性。我们定义良好暴露相似性如下: 在哪里f(∙)为良好曝光度测量函数，定义为

对于每个源图像我_我(1≤我≤n，我 ≠ r)，我们定义FPSS和BPSS如下: 其中FP(∙)和BF(∙)分别表示基于直方图投影算法的FP和BP。

２.２.运动地图和权重地图构建

利用FPSS和BPSS将源图像分为四组。设0、1、2、3分别表示运动区域、源图像饱和区域、参考图像饱和区域、静态区域和不饱和区域的标签。为像素 ，概率属于l-th组定义为 在哪里Cl中心是什么lth组。如本节所述2．1，运动区域的中心，源图像中的饱和区域，参考图像中的饱和区，静态和不饱和区域是[0,0]，[1，0]、[0,1]和[1，1),分别。然后，确定初始分割 ．

由于噪声会使分割不可靠，我们采用了图切割算法[33，34，其中能量函数定义为

第一项是数据项，用表示 ．第二项是平滑项，由 ，在哪里σ为整幅图像的方差。

我们使用方程(7)来定义运动映射和权重映射。首先，将源图像中标记为0的像素包含在运动区域中。饱和区域可能与运动区域相连;因此，我们将标记为1和2并与运动区域相连的区域作为运动区域。其余区域视为静态区域，其中权值映射基于FPSS和BPSS。对于每个源图像，标记为2和3的静态区域中每个像素的权值设为1，而标记为1的静态区域中每个像素的权值与BPSS成比例_p（我_r英国石油公司(我_我）））。对于参考图像，所有像素的权重值被设置为1，除了饱和区域的权重值与最小FPS成比例_p（FP（我_r），我_我)为所有源图像。我们定义每个像素的权值图如下:

２.３.基于lrmc的加权HDR成像

让我 = [vec(我₁vec (),我₂vec(),…我_n)∈R^米×n为矩阵，其中vec(∙)为矩阵到向量的变换函数。对于每一幅图像，对应的辐照度图像D_我（我= 1, 2，…n)由相机响应函数估计。辐照度矩阵D由背景矩阵表示l秩等于1加上稀疏误差矩阵E．然后，有效区域是由介绍中讨论的方法构建的静态区域2．2．在有效区域，非饱和区域的信息比饱和区域的信息更可靠。因此，我们在饱和区域和非饱和区域分别加入小权值的稀疏误差。我们提出基于lrmc的加权HDR成像方法如下: 在哪里是核标准，是矩阵的10范数吗E,表示点积P_Ω(∙)定义如下:

受到Oh等人的启发[26]，矩阵特征值的部分和l是用来取代核标准的吗l₀-norm被取代l₁规范。然后,方程(9)改写如下:

方程(11）可以通过增强拉格朗日乘数和替代方向方法来解决。最后，得到的HDR图像是恢复的低秩矩阵的平均值l．

3.实验结果

在本节中，通过与Oh等人的比较，对所提方法的性能进行了主客观的评价。[26， Hu等人[18， Ma等人[32]和Photoshop CS6在具有复杂场景的具有挑战性的图像集上（从中下载http://user.ceng.metu.edu.tr/∼阿克于兹/文件/ eg2015 /)，其中每个图像集包含5张LDR图像，并选择第三张图像作为所有方法的参考图像。哦，等。[26是基于lrmc的最先进的HDR成像方法。Hu等人[18]是最具竞争力的基于最先进的基于状态的HDR成像方法。Ma et al. [32是最先进的曝光聚变方法。Photoshop cs6是商业软件。

为了主观地评价实验结果，Reinhard的音调映射方法[35[使用所提出的方法和OH等人的情况用于显示所产生的HDR图像。[26］．胡等人产生的结果。[18]为一组潜影，由Mertens等人合并。[4］．Ma et al. [32]和Photoshop cs6直接生成可显示的图像。所有实验在Matlab R2016b(64位)和Windows 7中进行。

数字3.显示了该方法生成的结果，Oh等[26， Hu等人[18， Ma等人[32和Photoshop cs6。Hu等人[18和Ma等人[32在消除鬼影方面表现良好。然而，如图所示，在咖啡馆里的男子的详细信息却不见了3 (h)和3(我)．哦，等。[26]和Photoshop cs6在暗区和亮区保留了细节，但在去除鬼时存在问题，如图所示3 (g)和3 (j)．这是因为Oh等人[26]无法处理男人和坐在女性的大型重叠地区。然而，所提出的方法成功地消除了幽灵并保留了黑暗和明亮地区的细节。

数字4给出了本文方法产生的另一个比较结果，Oh等[26， Hu等人[18， Ma等人[32和Photoshop cs6。此场景非常复杂，图像跨越大而不规则的重叠区域。因此，用户难以指定该区域。幽灵在OH等人的结果中非常明显。[26和Photoshop cs6。Hu等人[18和Ma等人[32产生令人愉快的结果，完全没有幽灵，但结果是不自然的。例如,图4 (c)显示光线周围的颜色是扭曲的，而图形4 (d)显示光环出现在边缘。该方法在去除鬼影和保留细节方面具有最好的性能，并且没有额外的伪影。类似的结果也可以在图中看到5．

由于缺少参考图像，我们采用了盲图像质量评价指标HDR图像梯度评价器(HIGRADE) [36，以客观地评价绩效。对于HIGRADE指数，值越高表示视觉质量越好。表格1显示了提出的方法和三种最先进的方法的HIGRADE分数。在大多数情况下，所提方法的HIGRADE得分最高，这表明所提方法能够达到自然的外观，并保留了丰富的细节。

数字6示出了基于不同参考图像的所提出的方法的结果。所提出的方法的性能依赖于运动地图和体重图。如图所示6 (f)- - - - - -6（i），幽灵被成功移除，黑暗和明亮区域的细节得以保留。图中显示了道路上的细节损失6（j），因为参考图像中饱和区域过大(图6 (e)）.

4.结论和讨论

本文提出了一种基于双向结构相似性和加权LRMC的HDR成像方法。我们观察到，在运动区域和饱和区域的结构变化分别是双向和单向的。因此，我们提出了包含FPSS和BPSS的双向结构相似性，将图像分成四组:运动区域、源图像中的饱和区域、参考图像中的饱和区域、静态和不饱和区域。然后采用图割算法消除噪声。最后，在基于加权lrmc的方法中介绍了基于FPSS和BPSS的运动映射和权映射。与以往基于lrmc的方法不同，该方法不需要用户指定缺失区域。

对具有复杂场景的若干具有挑战性的图像组的实验。并且，将所提出的方法与三个当前最先进的算法和Photoshop CS6进行比较。结果表明，该方法可以在黑暗和明亮的区域中保持更多细节，并同时删除幽灵。特别地，所提出的方法对所选择的参考图像具有鲁棒。

数据可用性

所有用于支持我们研究结果的数据均下载自http://user.ceng.metu.edu.tr/∼阿克于兹/文件/ eg2015 /，已包含在文章中(第5页)。

的利益冲突

作者声明他们没有利益冲突。

致谢

这项工作得到了国家自然科学基金的支持（授予No.61562047,61562048,61462048和61862044），江西省教育部的科学和技术项目（第151084号）和科学基金九江大学（2014KJYB029和2015LY831）。

参考文献

1. E. Reinhard, G. Ward, S. Pattanaik和P. E. Debevec，高动态范围成像:采集、显示和基于图像的照明， Morgan Kaufmann, Burlington, MA, USA，第二版，2005。
2. P. E. Debevec，“从图像中恢复高动态范围亮度图”ACM的诉讼程序介绍24次年度会议，第369-378页，纽约，美国纽约，1997年11月。视图:谷歌学术
3. Grossberg和S. K. Nayar，“从图像中确定相机的反应:什么是可知的?”模式分析与机器智能学报，第25卷，第2期11，第1455-1467页，2003。视图:出版商的网站|谷歌学术
4. T. Mertens, J. Kautz，和F. V. Reeth，《曝光融合:高动态范围摄影的一个简单而实用的替代方案》，计算机图形学论坛第28卷第2期1，页161-171,2009。视图:出版商的网站|谷歌学术
5. 宋敏，陶德华，陈超等，“概率曝光聚变”，IEEE图像处理汇刊第21卷第2期1，页341-357,2012。视图:谷歌学术
6. 马凯，王振民，“多曝光图像融合:一种局部方法”，发表于2015 IEEE图像处理国际会议论文集，第1717-1721页，加拿大魁北克市，2015年9月。视图:出版商的网站|谷歌学术
7. K. Karađuzović-hadžiabdić， J. H. Telalović，和R. K. mantiuk，“多重曝光HDR图像去鬼影方法的评估”，计算机与图形学，第63卷，第1-17页，2017。视图:出版商的网站|谷歌学术
8. A. Srikantha和D. Sidibé，“高动态范围图像的幽灵检测和去除:最新进展”，信号处理：图像通信第27卷第2期6, pp. 650-662, 2012。视图:出版商的网站|谷歌学术
9. O. T. Tursun, a . O. Akyüz, a . erdem，和E. erdem，“HDR去影技术的现状:调查和评估，”计算机图形学论坛，卷。34，不。2，pp。683-707，2015。视图:出版商的网站|谷歌学术
10. A. Eden，M. Uyttendaele和R.Szeliski，“具有大型运动和曝光差异的场景的无缝形象缝合”2010年IEEE会议上的Computer VisionAnd模式识别核查程序（CVPR），第2498-2505页，美国纽约，2006年6月。视图:出版商的网站|谷歌学术
11. J. Im, S. Lee和J. Paik，“在高动态成像中消除鬼影的改进弹性配准”，IEEE消费电子学报(第57卷)2, pp. 932-935, 2011。视图:出版商的网站|谷歌学术
12. G. Ward，“用于合成手持曝光的高动态范围照片的快速、健壮的图像配准”，图形工具，第8卷，第2期2，页17-30,2003。视图:出版商的网站|谷歌学术
13. D. Sidibe, W. Puech，和O. Strauss，“高动态范围图像的幽灵检测和去除”，在第17届欧洲信号处理会议的诉讼程序，第1-5页，格拉斯哥，英国，2009年8月。视图:谷歌学术
14. E. A. Khan, A. O. Akyuz，和E. Reinhard，“高动态范围图像中的幽灵去除”，在国际图像处理会议论文集， 2005-2008，亚特兰大，美国佐治亚州，2006年10月。视图:出版商的网站|谷歌学术
15. 张伟和w - k。Cham，“梯度定向多重曝光组合”，IEEE图像处理汇刊第21卷第2期4，第2318-2323页，2012。视图:出版商的网站|谷歌学术
16. 盖洛，N.盖尔芬，w . c。陈，T. Marius和P. Kari，“无人工制品高动态范围成像”，出版2009年IEEE计算摄影国际会议论文集，第1-7页，加州旧金山，美国，2009年4月。视图:出版商的网站|谷歌学术
17. P. Sen, N. K. Kalantari, M. Yaesoubi, S. Darabi, D. B. Goldman，和E. Shechtman，“基于补丁的动态场景HDR重建”，美国计算机学会图形汇刊第31卷第1期6, pp. 1-11, 2012。视图:出版商的网站|谷歌学术
18. J. Hu, O. Gallo, K. Pulli, X. Sun，“HDR去鬼影:如何处理饱和度?”“在2013年IEEE计算机愿景和模式识别（CVPR）会议上的诉讼程序，第1163-1170页，俄勒冈州波特兰，美国，2013年6月。视图:出版商的网站|谷歌学术
19. H. Zimmer, A. Bruhn，和J. Weickert，“同时提高分辨率的动态场景徒手HDR成像”，计算机图形学论坛，卷。30，不。2，pp。405-414，2011。视图:出版商的网站|谷歌学术
20. T. Bouwmans, A. Sobral, S. Javed, S. K. Jung, E.-H。Zahzah，“为背景/前景分离而分解为低秩加加法矩阵:使用大规模数据集进行比较评估的综述，”计算机科学评论，第23卷，第1-71页，2017。视图:出版商的网站|谷歌学术
21. 林振民，“基于PCA的图像和视频处理方法研究”，北京大学学报(自然科学版)，IEEE论文集，第106卷，第2期。8, pp. 1427-1457, 2018。视图:出版商的网站|谷歌学术
22. V. Namrata和N. Praneeth，“静态和动态稳健pca和矩阵补全:综述，”IEEE论文集，第106卷，第2期。8, pp. 1359-1379, 2018。视图:出版商的网站|谷歌学术
23. T. H. Oh, J. Y. Lee和I. Kweon，“高动态范围成像的一级约束”，在2013 IEEE图像处理国际会议论文集，第790-794页，澳大利亚墨尔本，2013年9月。视图:出版商的网站|谷歌学术
24. A. Bhardwaj和S. Raman，“使用增广拉格朗日乘法器(ALM)的基于pca的图像合成解决方案，”计算机视觉，卷。32，不。5，pp。591-600,2015。视图:出版商的网站|谷歌学术
25. C. Lee, Y. Li, V. Monga，“通过等级最小化无鬼高动态范围成像”，信号处理信件第21卷第2期9, pp. 1045-1049, 2014。视图:出版商的网站|谷歌学术
26. 郭宏源。哦,J.-Y。李,Y.-W。Tai, I. S. Kweon，“基于秩最小化的稳健高动态范围成像”，模式分析与机器智能学报，卷。37，不。6，pp。32-1219,2015。视图:出版商的网站|谷歌学术
27. C. Lee和E. Y. Lam，“高动态范围成像的计算效率截断核范数最小化”，IEEE图像处理汇刊，第25卷，第2期9, pp. 4145-4157, 2016。视图:出版商的网站|谷歌学术
28. K. Jacobs, C. Loscos，和G. Ward，“动态场景的自动高动态范围图像生成”，IEEE计算机图形和应用程序第28卷第2期2，第1-15页，2008。视图:出版商的网站|谷歌学术
29. J. An, S. J. Ha，和N. I. Cho，“用于减少多曝光高动态范围图像中鬼影的概率运动像素检测，”图像与视频处理， 2014年第5期。1, pp. 1 - 15, 2014。视图:出版商的网站|谷歌学术
30. J. An, S. H. Lee, J. G. Kuk, and N. I. Cho，“无鬼影效应的多曝光图像融合算法”，发表于2011年IEEE声学、语音和信号处理国际会议论文集，第1565-1568页，捷克共和国布拉格，2011年5月。视图:出版商的网站|谷歌学术
31. W.张，S. Hu，K.刘和J. Yao，“基于一致性和一致性的无运动曝光融合”信息科学， vol. 376, pp. 190-201, 2017。视图:出版商的网站|谷歌学术
32. 马凯，李洪勇，王志强，D.孟，张磊，“基于结构块分解的多曝光图像融合方法”，IEEE图像处理汇刊第26卷第2期5, pp. 2519-2532, 2017。视图:出版商的网站|谷歌学术
33. V. Kolmogorov和R. Zabih，“通过图表可以最小化哪些能量函数？”模式分析与机器智能学报第26卷第2期2，pp。147-159,2004。视图:出版商的网站|谷歌学术
34. Y. Boykov, O. Veksler，和R. Zabih，“通过图形切割的快速近似能量最小化”，刊于第七届IEEE计算机视觉国际会议论文集，页377-384,2002年8月。视图:出版商的网站|谷歌学术
35. E. Reinhard, M. Stark, P. Shirley, J. Ferwerda，《数字图像的摄影色调复制》，美国计算机学会图形汇刊第21卷第2期3，第267-276页，2002。视图:出版商的网站|谷歌学术
36. D. Kundu，D. Ghadiyaram，A.C.Bovik和B.L.Vans，“Tone-Papped HDR图片的No-Regital质量评估”，IEEE图像处理汇刊第26卷第2期6、pp. 2957-2971, 2017。视图:出版商的网站|谷歌学术

版权

版权所有©2019 Yu Mali and Zhang Hai。这是一篇发布在知识共享署名许可协议，允许在任何媒介上不受限制地使用、传播和复制，但必须正确引用原作。