CN1567385A - 平面图像全景重建立体图像的方法 - Google Patents

Abstract

本发明公开了一种平面图像全景重建立体图像的方法，其过程包括，选择平面图像，针对平面图像的空间分布，建立每个像素的深度列表，根据深度列表对平面图像的每个像素进行视差位移处理，重建全部视差序列图像，将视差序列图像立体合成。全景重建方法可以将平面图像转化成非常逼真的立体图像，立体景深任意可控，极大地拓展了立体图像的应用领域。

Description

平面图像全景重建立体图像的方法

本发明属于光学显示技术领域，涉及一种平面图像重建立体图像的方法。

随着光栅立体成像技术的日趋成熟，三维立体图片以其观看自由、清晰、立体感强的特点开始得到普及。三维立体图片的图像设计简称立体设计，到目前为止，立体设计主要采用立体摄影、三维建模多视角渲染技术或图层平移技术。

立体摄影需要在多个视差点对模特进行拍摄，特别是对非静物模特如人物、动物等必须采用立体相机，由于专业立体相机体积较大，操作便利性差，不利于精彩瞬间的抓拍，拍摄效果始终不如专业平面摄影，因此不少摄影师不愿主动运用立体拍摄手段，阻碍了立体摄影在商业上的广泛应用。

三维建模多视角渲染技术需要建立立体模型，贴图并布置灯光，设置照相机在多个视差点对模型进行渲染，获得数张视差序列图像，可以得到非常好的立体效果，但不易制作生活中真实的立体场景，其运用存在一定的局限，这种方法实际上也应归属于立体摄影的范畴。

图层平移技术在当前的立体设计中应用最为广泛，其实质是将一张平面图像经过分层偏移达到空间拉伸的目的，由于简单易行，几乎所有的设计人员都将其作为主要的设计手段，缺点在于，其立体感是平面分层的，缺乏空间连续性。尽管可以增加每个图层边缘在深度上的平滑过渡，来消除主体、前景、背景的片状感，或者通过斜切、横向压缩将图层在空间的任意方向拉伸，进一步改善图层平移技术的设计质量，但由于其设计原理是基于对图层“面”、而不是对空间“点”进行深度定位，无法设计出如立体摄影一样的三维空间感。

本发明公开的平面图像全景重建立体图像的方法，结合了三维建模技术、图像几何变换技术和图像视差变换技术，目的是提供一种将平面图像全景重建成高精度立体图像的方法。

全景重建的原理在于，针对平面图像的空间分布，建立图像每个像素点的深度列表，根据深度列表对平面图像的每个像素进行视差位移处理，获得多幅视差序列图像，然后将视差序列图像立体合成。尽管由平面图像建立的深度列表并不能完全真实地反映图像实际的立体深度，考虑到平面图像本身存在强烈的深度心理暗示，完全可以逼真地再现立体空间。平面图像全景重建立体图像的过程包括：选择原始图像，建立深度列表，全景重建视差图像，立体合成。

下面详细说明实现全景重建的每个过程和方法。

第一步，选择原始图像。就是确定需要进行全景重建的平面图像，要求其锐度好、层次分明、清晰度高，并已进行数字化。将原始图像命名为T₁，第i列第j行像素值T₁(i，j)可以用三色(r，g，b)或者四色(c，m，y，k)表示。

第二步，建立深度列表。深度列表是全景重建的关键，深度列表z(i，j)代表像素点T₁(i，j)的立体深度相对值，为了方便对深度列表进行编辑，我们把z(i，j)的值域线性变换到可用一个字节表示的整数范围，即0至255之间的整数，则深度列表可以转换成与图像T₁幅面相同的8bit灰度图像Z₁。由图像T₁建立灰度图Z₁的方法有三种：深度直接填充，实物模型辅助提取深度，三维模型辅助提取深度。

在多数情况下，我们可以根据图像T₁直接判断画面各部分内容的相对深度，利用图像处理工具Photoshop软件的选取工具选择区域范围，填充与深度相应的灰度值，建立图像Z₁。可以充分利用编辑环境中的渐变填充、复制、加深、减淡、模糊等工具修改局部灰度值，该方法虽然精度低，但使用十分方便，能得到较好的立体效果。

实物模型辅助提取深度的方法，是指用姿态相同的实物模型大致复原图像T₁的空间布置，采用直尺测量、光栅投影等各种方法获取实物模型表面各点的立体深度，填充到深度列表中，并通过线性插值建立完整的灰度图像Z₁。

三维模型辅助提取深度的方法是本发明描述的重点，这种方法不仅容易实现，而且立体再现精度高、效果好。在各种类型的平面图像中，人像的立体再现需求最为广泛，实现最为困难，因此我们主要以平面人像建立深度列表的过程来说明方法要点，其它类型图像深度列表的建立可以参照这一过程实现。

首先，根据图像T₁的人物形象，如性别、高矮、胖瘦等，在三维动画软件中建立三维模型，调整如头、颈、躯干、四肢等部分的比例，以及鼻梁高低、眼眶凹陷程度等细节，不必耗费过多精力，只要与人物形象大致相似即可，并且不需考虑贴图属性；第二，仔细调整模型的姿态，并在前视图即XY坐标中实时观察，直到模型姿态与图像T₁的人物姿态尽量相同为止，包括肢体的伸展状况，面部、身体的侧姿角度等都要相一致，因为我们需要根据人物模型在前视图中可见点的立体深度即Z坐标值，来标定图像T₁中人像上各点的立体深度，而对于头发、衣服等难于进行一致性调整的部分可以不作处理，在以后作视差变换时，根据立体观察反馈的结果直接修改图像Z₁的灰度值；第三，在前视图中渲染出一幅模型姿态图像F备用；第四，从三维动画软件中直接读取模型在前视图中各可见点的Z坐标值，建立深度列表，并线性转化成灰度图像Z₁，如果没有直接获取Z坐标值的功能，可以采用平面截断法建立灰度图像Z₁，这将在下面进一步说明。

建立人物三维模型最简单的方法是采用Metacreations公司推出的Poser软件，该软件提供了大量的人体造型及动物三维模型，可以直接选用，在Poser环境中进行姿态调整也十分方便。Autodesk公司开发的3D Studio MAX系列软件也是三维建模的理想工具，熟悉和理解它对全景重建技术的掌握是非常有用的。

平面截断法可以帮助我们建立灰度图像。在三维坐标中，建立一个垂直于Z轴的平面P，设置适当的颜色使之与模型具有极大的反差。平面P可以在Z向移动，当模型与平面相交时，后面的部分被遮挡，只能渲染出模型的前部。设定平面P的初始位置、步长，让平面沿Z轴向外移动，在前视图中渲染M帧动画图像，图像编号为1至M，M不大于255。创建一个与动画图像相同大小的灰度图像Z₁，将所有像素点的灰度值均设为0，对动画图像按编号从小到大的顺序作如下处理：

对第m幅动画图像的所有像素点进行判断，如果像素点在平面P上，不作处理，如果像素点在三维模型上，用灰度值m替代图像Z₁上对应点的灰度值，m＝1，2，3，…，M。对所有M幅动画图像处理完毕后，可得到一幅描述三维模型前视图上所有像素点立体深度的灰度图像Z₁，整个过程需要编制计算机程序来实现。

为了便于图像处理，原始图像T₁、模型前视图F、灰度图像Z₁的大小和比例应该一致，否则需要经过像素插值变为相同幅面。模型前视图F与原始图像T₁各边界或关键点的位置并不能完全一一对应，有时甚至有较大的差异，这说明灰度图像Z₁还不能真正描述原始图像T₁的立体深度，需要进行几何变换来调整图像Z₁各像素点的位置。

鉴于灰度图像Z₁的特征轮廓不明显，在几何变换时需要参照模型前视图F，建立模型前视图F与原始图像T₁上各个关键点、特征轮廓之间的几何映射关系，例如人物眼睛、鼻孔、手掌等轮廓线和关键点的位置，然后根据位置映射关系将灰度图像Z₁进行几何变换。几何变换只是改变像素点的位置，而没有改变像素点的灰度值，比如眼睛的中心点，在图像F上的坐标为(i，j)，在图像T₁上的坐标为(i’，j’)，图像Z₁坐标为(i，j)点的灰度值代表了眼睛中心点的立体深度，经过几何变换后，移动到了位置(i’，j’)，从而与图像T₁眼睛中心点真正对应起来，因此，变换后的灰度图像Z₁精确地描述了原始图像T₁的相对深度。几何变换会导致图像Z₁出现空白点，需要进行插值处理，共享软件morpher可以完成灰度图像的几何映射变换。

第三步，全景重建视差图像。接下来就可以根据灰度图像Z₁，将图像T₁经视差位移处理全景重建出其余的视差序列图像。与立体摄影相比较，图像T₁相当于N幅视差序列图像中的第一幅，全景重建的目的在于根据图像T₁还原出其它N-1幅序列图。如果将图像T₁作为视差序列图的中间图像，在视差变换后的空白点填充处理中会引起一些不便。

由于视差的存在，图像T₁上的像素点T₁(i，j)出现在其它视差图上的位置坐标为(i+offset，j)，offset是视差位移量，与立体深度z(i，j)及视差图像编号有关：

           offset＝[z(i，j)-z₀]*direct*depth*f(z)*k

其中，z(i，j)为像素点T₁(i，j)的立体深度，z₀为零视差点的立体深度，也就是说深度为z₀的像素在各个视差图像上出现的位置是相同的，z₀一般可取值170；direct为视差变换的方向，取值-1或+1；depth是立体强度参数，由立体设计者设定；f(z)是关于视差偏移量offset与立体深度z(i，j)之间非线性关系的修正函数，在立体深度不是很大时，可以不考虑，直接取f(z)＝1；k为被重建的视差图像与原视差图像编号差的绝对值，比如根据第1幅图像重建第n幅图像，则k＝|1-n|。在本说明书中凡是涉及到立体深度时，我们均采用相对值而非绝对值，其灵活性和方便性是显而易见的。

只要根据视差位移公式计算出图像T₁上每一个点在其它视差图像中的位置，将像素值填充到该位置，即可重建全部N幅视差图像，N值可以轻易超过30，而制造并使用30镜头的立体相机是相当困难的。在重建视差图像的过程中会遇到三种情况需要特别处理：

(1)图像T₁上多个不同的像素点视差位移后处于同一幅视差图像的同一位置，需要判断各点的立体深度z(i，j)，选择最前面也就是z值最大的像素填充到该位置。

(2)由于offset值的取整处理或像素横向位移后产生一些空白点，主要出现在视差图像的空间连续区域，也就是z值变化平缓的区域，需要根据周边点的像素值线性插值填充。

(3)在视差图像上立体深度不连续或者z值变化较剧烈的区域出现的空白点，其对应的像素点由于空间遮挡的原因在图像T₁上不可见或不相关，需要立体设计者依靠绘画经验人工填充。

在立体摄影中，立体空间中每一点所成的像，在视差序列图像中出现的位置是不同的，具有一定的横向位移，这就是视差。其中有些点由于前后遮挡关系不会出现在所有视差图像中，因此，在视差变换重建的图像中，会出现大量的空白点，它们的颜色是未知的，需要根据实际情况填充，比如上面所说的(2)(3)两种情况。这里需要解决的问题在于，如何保证所有视差图像上人工填充区域之间具有立体相关性，如何减少人工填充的工作量。

有效的方法是，先根据图像T₁重建最后一幅视差图像T_N，对空白点进行插值填充和人工填充；同时，利用灰度图像Z₁对自身进行视差位移处理，建立与图像T_N对应的灰度图像Z_N，对空白点进行插值填充和人工填充，这时，填充的灰度值代表图像T_N对应点的立体深度。适当地选取视差变换方向direct的值，有助于简化人工填充的过程，提高全景重建真实感。

在填充图像T_N的空白点之前，可以采用对眼方式、戴立体眼镜方式观察体视对图像T₁和T_N，对立体深度不符合要求的地方，直接修改图像Z₁相应区域的灰度值，再重建视差图像T_N，进行立体观察，反复数次直到立体感符合要求为止，然后进行图像Z_N重建及空白点填充。视差图像T_N需人工填充的区域，其内容在原始图像T₁中不存在，无论填充什么颜色，均不影响立体图像的空间感和完备性，但是，为了突出真实感，立体设计者应尽可能依据被遮挡部分的内容来补充空白区。

在极大多数情况下，立体摄影的首、末两幅图像包含了中间图像的所有信息，也就是说，中间视差图像上的每一点，在图像T₁或T_n上均能找到相对应的点。有了视差图像T₁、T_N和灰度图像Z₁、Z_N，我们可以重建出中间N-2幅序列图像，这时，由于信息具有完备性，不需要对中间图像进行人工填充，并且不需建立中间图像对应的灰度图。重建中间图像的具体方法是：

根据灰度图像Z₁，将图像T₁进行视差变换，变换方向为direct，得到N-2幅视差图像T₂、T₃、T₄、…、T_n、…、T_N-1；

根据灰度图像Z_N，将图像T_N进行视差变换，变换方向为-direct，得到N-2幅视差图像T’₂、T’₃、T’₄、…、T’_n、…、T’_N-1。

图像T_n和T’_n实际上是从不同变换途径得到的相同拍摄点的视差图像，它们的空白点出现的位置不一样，图像T_n上的空白点，在图像T’_n上可以找到对应点的颜色填充，反之也一样。如果此时还存在极少量空白点，可以进行人工填充。到此为止，我们完成了所有视差序列图像的全景重建过程。

最后，进行立体图像的合成。将视差序列图像合成为光栅立体图像，可以采用光学立体合成，也可以采用数码立体合成，具体可参考专利申请981193633或其它关于立体合成的文章。需要注意的是，direct所取的值不同，立体合成中视差图像抽样样条的排列方向是不同的。

本发明所提供的全景重建方法可以将平面图像直接转化成非常逼真的立体图像，立体景深任意可控，立体感优于采用多镜头立体相机重新拍摄的效果，极大地拓展了立体图片的应用领域。全景重建方法的立体效果优于图层平移法，肤色质感优于三维模型贴图渲染出来的立体图像，完全可以取代专业立体相机。全景重建方法可以广泛应用于专业广告的立体设计，特别是一些无法实现立体拍摄，或拍摄代价太高的地方，例如可以将国际品牌代言人的平面影像直接进行立体转化。

下面给出三个实施案例。

实施例一，根据全景重建方法编制立体图像设计软件，功能模块包括下面内容。(1)简单的三维模型编辑环境。可以创建、编辑、修改三维模型，并能处理其它三维软件如3D MAX、POSER建立的三维模型，能在视图中渲染图像，能读取模型表面各点的三维坐标。利用该模块，可以参照平面图像创建三维模型，建立深度列表，减少了对其它三维软件的依赖。(2)平面截断法立体深度提取。依照说明书前述方法创建该模块，可以从3D MAX等软件按平面截断法渲染的动画序列图像中直接创建灰度图像。(3)几何映射变换。依照说明书前述要点编制的功能模块，可以修正由三维模型建立的灰度图像与平面图像之间的对应位置偏差，可以降低三维模型编辑及姿态调整的难度。(4)平面图像编辑环境。具有图层编辑、范围选取、颜色填充、像素值修改等功能，可以直接选取平面图像各个区域范围，填充与立体深度相应的灰度值，建立灰度图像，还可以完成视差图像空白点的人工填充。(5)视差图像全景重建。依照说明书前述方法创建该模块，可以设定立体强度参数、视差变换方向、视差图像的幅数，可以重建全部的视差图像，并能完成空白点的线性插值。(6)立体观察。在屏幕上显示左右平铺、上下平铺或红绿(或红蓝)眼镜等立体格式的图像，采用对眼、液晶光阀眼镜、滤色眼镜等方式观察立体图像，反馈立体信息，及时修改灰度图像。(7)立体合成。抽取各视差图像的纵向样条，重新排列合成光栅立体图。应用具备这些功能模块的立体设计软件，可以十分方便地将平面图像转换成立体图像。一种隐含的软件处理方式是，根据平面图像和灰度图计算出各视差序列图像的每一行之后，直接进行光栅立体合成，而不输出完整的视差序列图像。

实施例二，将人物模特照片转换成立体图像。

在POSER中建立人物三维模型，存储模型文件，输入到3D MAX中，在前视图中实时观察，调整模型姿态与照片大致相同。创建一个与Z轴垂直的平面，按平面截断法渲染200帧动画序列图像，根据这些动画图像创建灰度图像，将灰度图像进行几何映射变换，修正灰度图像与平面图像之间对应位置的偏差，然后设定立体强度参数、视差变换方向、视差图像的幅数，重建全部的视差图像，并填充空白点。抽取各视差图像的纵向样条，重新排列合成光栅立体图，复合立体光栅。

实施例三，将风景照片转换成立体图像。

风景照片的前后层次关系一般比较明显，地面平铺向远处延伸，可以选取地面范围，将渐变灰度填充其中，其它景物景深比较好确定，直接选取景物的区域范围，填充与立体深度相应的灰度值，建立灰度图像。根据灰度图像计算风景照片的每个像素点在其它视差图像中的横向位移量，填充像素值，重建全部视差序列图像，最后进行立体合成。

本发明公开的全景重建方法，主要应用于光栅立体图片、激光全息图片、立体电影、立体电视等立体图像的设计，另一个重要应用是开发立体图像设计软件。本发明的宗旨在于，根据平面图像内容建立所有像素的深度列表，利用深度列表值重建其它视差序列图像，对缺失信息的空白点填充所需的颜色，理解本说明书需要掌握平面图像处理及三维建模的基础知识。本发明选取了三个实施案例来参照说明，专业人士根据本说明书提供的解决方案可以很容易写出很多相关实施案例，本发明的意旨将包括与所附权利要求符合的所有实施例。

Claims (8)

1，一种全景重建方法，可以将一幅平面图像直接转化成可构成立体图像的视差序列图像，其特征在于，根据平面图像的空间分布，建立包含每个像素点立体深度的列表，利用深度列表计算平面图像的每个像素在其它视差图像中的横向位移量，将像素值填充到这些视差图像中，重建出所有视差序列图像。

2，如权利要求1所述的方法，其特征还在于，平面图像多个不同的像素点横向位移后处于同一幅视差图像的同一位置，需要判断各像素点的立体深度z(i，j)，选择z值最大的像素填充到该位置。

3，如权利要求2所述的方法，其特征还在于，出现在视差图像的空间连续区域的空白点，根据周边点的像素值线性插值填充；出现在视差图像立体深度不连续或者z值变化较剧烈区域的空白点，进行人工填充。

4，如权利要求3所述的方法，其特征还在于，重建视差图像的顺序为，先根据图像T₁和灰度图Z₁重建最后一幅视差图像T_N和灰度图像Z_N，对T_N、Z_N空白点进行填充，然后对图像组T₁、Z₁及T_N、Z_N分别进行视差位移处理，重建出两组视差序列图像，视差图像上出现的空白点，可以在另一组序号相同的视差图像上找到对应点填充。

5，如权利要求1所述的方法，其特征还在于，深度列表的值域线性变换到0至255之间的整数，将深度列表转换成8bit灰度图像。

6，如权利要求1所述的方法，其特征还在于，直接选取平面图像各个区域范围，填充与立体深度相应的灰度值，建立灰度图像。

7，如权利要求1所述的方法，其特征还在于，根据平面图像建立三维模型，调整三维模型的姿态，建立前视图的深度列表，并转化成灰度图像，对灰度图像进行几何映射变换，修正灰度图像像素点的位置。

8，如权利要求7所述的方法，其特征还在于，灰度图像采用三维模型平面截断法建立。