基于关键帧重放的模型优化,本质上是通过对输入的深度数据进行重复采样,利用TSDF的加权平均性质进行优化的一种方法。尽管在实际扫描的过中,同样可以通过人工或自动工作台对被测物体进行多次扫描采样,但其代价和操作难度无疑足臣大的。首先,多次扫描会导致扫描时间大幅延长,导致被测物体(以人体扫描居多)疲劳,而产生不可抑制的晃动,当新数据以加权平均的方式加入时,会对全局数据产生平滑作用。同时还会给用户带來糟糕的扫描体验。此外,正反方向运动和间歇运动对工作台的设计也提出了更高的要求。
提出的基于数据回放的重复采样及模型优化方法,能够很好的解决上问题,用户只需通过一次单方向快速扫描进行数据录制,而后通过回放,对数据输入进行控制。通过正序逆序回放可实现两方向的数据输入,通过慢放和关键帧重放则可对细节区域进行多次的数据采集。
假设目标数据集中包含N帧数据,其中有若干区间包含被扫描对象的细节信息。通过视觉的方式选出细节区间后,在该区间第一帧数据处插入一个关键帧重放器并设置区间长度,如同所示,FI为区间1第一帧,区间长度offset设置为10,则F2为区间最后一帧,当输入数据到达F2帧时,自动退回F1并循环播放,直到达到指定迭代次数。
模型中包含大量细节的几帧数据标通常被记为关键帧,例如头发,面部,耳朵等处。与普通RGB摄像机一样,深度城摄像机在移动时也会发生拖影现象,因此在细节丰富的数据段中,单次扫描会造成细节损失,目标边缘会产生平滑现象。
如图所示,左侧图像为单次采样后的重建结果,可以明显的看出耳部细节区域没有得到很好的处理,耳洞及头发界限发生交叠。右侧图像则利用提出的关键帧重放技术,对拍摄到人体侧脸的30帧数据进行了10次数据回放,结果表明,该方法能够很好的改善模型的细节区域。对模型各部分轮廓有一定的锐化作用。从图中可以看出,优化后的结果轮廓更加清晰,细节区域更加明显。
此外,数据重采样对于修补模型孔洞也有一定的作用,如图所示,右侧模型为重采样之后的重建结果,可看出,模型左耳上方孔洞明显减小。
详细介绍了三维重建流水线数据采集模块,图像处理模块点云融合模块及点云重建模块的算法原理和实现方法。将OpenNI提供的录制功能引入数据采集模块,同时开发了适合重建流水线的数据接口,移植和扩展了基于PCL的移动立方体算法,在三角形片面生成的同时对顶点法线进行了计算,生成了包含法线信息的多边形网格数据。提出了使用数据重放功能进行模型细节优化的方法并给出了实验对比结果。