座机:0379-62322190 0379-62383173

手机:张经理 13014727803

姚经理 13333886642

远经理  15038503988

黄经理 15137909090

售后:远经理   18238880808

传真 :0379-62383002

企业QQ:4000379440

地址:河南省洛阳市春都53号副食品批发市场


【泡泡图灵智库】透明目标的全三维重建(军用假目标SIGGRAPH )

发表时间:2020/2/27  浏览次数:362  
字体大小: 【小】 【中】 【大】

  在过去的几十年中,已经提出了许多用于重建不透明物体的3D模型的技术。但是这些方法都不能直接应用于透明对象。本文提出了一种全自动的方法来重建透明物体的完整三维形状。通过将目标放在转盘上捕获其在不同观察方向下的轮廓和光折射路径。然后从空间雕刻产生的初始粗糙模型开始,本文的算法在三个约束条件下逐步优化模型:曲面和折射法线一致性、表面投影和轮廓一致性和表面平滑度。合成和真实数据的实验结果表明,军用假目标本文的方法可以成功地重建透明物体的复杂形状,并真实的反应光在透明目标的折射特性。

  2、 本文提出新的由捕获的光折射路径和轮廓约束组成的点约束条件,军用假目标将空间雕刻产生的初始模型逐渐演变为精确的形状。

  通过拍摄装置本文获得两个数据:1.不同视角的目标轮廓,其定义了目标的视觉外壳;2.穿过目标的入射光线和出射光线的对应关系,军用假目标其与光折射路径和表面几何形状细节相关。本文根据收集所有轮廓通过空间雕刻方法生成初始粗糙模型。然后根据光路线的对应关系优化初始模型,同时保持形状轮廓。通过以下三个约束来实现模型的优化:表面和折射法线的一致性,军用假目标表面投影和轮廓一致性,以及表面光滑度。

  要拍摄的目标放在转盘#1上,显示器放置在转盘#2上并用作光源。相机#1面向目标和显示器,用于拍摄轮廓和光线拍摄装置

  对于通过像素q到达摄像机中心c的出射光线,其相应的入射光线可以通过连接不同位置的监视器上的像素Q1和Q 2获得。在仅发生两次折射的假设下,可以通过基于假设的目标表面的深度在光线来形成完整的光路。真正的光折射路径是最小化在p 1和p 2位置处的表面法线(从表面形状估计)和折射法线(使用Snell定律估计)之间的差异,如图2。

  基于初始的模型,首先根据相机拍摄的出射光线得到于表面的相交点,然后根据拍摄的入射光线对应关系,沿射线优化这些交点的深度。假设在显示器和相机之间光路仅发生两次折射,直接连接前后交点提供了透明物体内的光线。根据Snell定律,也可以计算在每个交点位置实现理想射线折射效果所需的法线。第一项最小化表面法线(近似于局部PCA分析)和Snell(折射)法线之间的差异。第二项对深度粗糙度进行补偿。

  凹陷区域却与剪影轮廓有很大的区别,使用较小的邻域半径不能有效地在凹区域中投射点,而使用大的邻域将模糊想要在剪影附近区域恢复的几何细节。为了解决该问题,使用自适应邻域半径hj用于投影每个样本xj。它是基于点云P和xj附近的粗糙模型X之间的平均距离来计算的。当使用射线对应关系估计的点云与从轮廓生成的模型一致时,将使用较小的邻域,而当两者不同意时,将使用较大的邻域,如图3。

  从初始粗糙模型中采样的点云使用不同约束的两个合并阶段,通过泊松表面重建从得到的点云生成新的3D表面模型。这个新模型将作为下一轮采样,表面深度估算,合并重建的粗略形状。随着粗略模型变得更加准确,可以更精确地过滤两次以上折射和全反射的光线对应,并为优化提供更好的初始解决方案。这有助于弱化上述模糊度问题的法线一致性,并得到更好的表面深度图。

  从图3和图4中可以看出从渲染图像逐步重建的模型。从重建模型到真实表面的距离被可视化为用于定量评估的误差图。对于这两种模型,平均距离随着迭代次数的增加而减小,证明了本文算法的有效性。图5和图6在不同视图下可视地比较了真实模型和在相同环境中的重建的渲染结果。在图7中用不同折射率的合成实例测试本文的算法。从误差曲线可以看出,较高的IOR与较大的残差相关。这主要是因为物体仅从后面照亮。因此较高的IOR导致较少的捕获的射线对应,导致较高的重建误差。

  线示出了在其中一个视角下为Hand目标拍摄的图像。使用从这些图像中提取的射线对应,能够通过优化表面和折射法线一致性来恢复每个视图下的表面深度;如图9直接合并这些深度信息并不能提供令人满意的模型。另一方面,本文的算法从使用空间雕刻获得的粗糙模型开始,并逐渐丰富它,如图10所示。最终的融合模型是平滑的,可以很好地捕捉凹面区域的表面细节。

合作链接: