点云超分辨率的模型搭建与特征补充
时间：2023-03-10 09:40:05 来源：柠檬阅读网 本文已影响 人 
陆敬奔，李春国，杨绿溪
(东南大学 信息科学与工程学院，江苏 南京 211189)
点云[1]是三维空间下的一种图像数据，常使用激光雷达等采集工具对目标进行扫描获得，有助于表示三维物体的表面几何分布。不同于网格(mesh)、体素(voxel)等数据结构，点云以点的三维坐标为基本信息，这些点分布在三维物体表面，通过点的相对位置关系、点的分布疏密等描述表面几何分布。可以引入法向量、色彩、亮度等信息，从而更好表示物体的三维表面结构。在资源勘探、建筑修复等工程中，点云发挥着巨大作用。
受限于采集环境条件、设备精度等，实际工程中直接获取的点云数据容易引入环境噪声，导致一些区域出现点数较少或点分布不均等问题，在采集到点云数据后，一般需要人工对采集数据进行预处理[2]。获取的点云数据一般总点数较多，手动修复的效率低，当局部区域的点云点数过少时，表面的细节信息难以恢复，可能还需要重新采集数据。点云超分辨率技术能自适应地对输入点云进行点数升采样，估计原始三维物体的表面分布，生成分布更加均匀的高分辨率点云。将点云超分辨率技术应用于点云修复工作，有助于降低修复成本，提高生成点云质量。
传统点云超分辨率算法[3-4]基于计算机图形学知识实现，使用插值的方法增加点云点数，如对点云提取LOP[5]、WLOP[6]等特定几何特征，建立点间的位置关系，估计物体的表面流形。这些方法大多基于点云表面光滑的先验假设，难以适应复杂的真实场景。
近年来，深度学习方法在点云处理上得到了广泛应用，包括点云超分辨率、点云补全[7]等工作。点云超分辨率的算法流程大体可分为特征提取、点数扩充、坐标重建三个步骤。在特征提取方面，PU-Net[8]等网络将PointNet[9]、PointNet++[10]等用于分类、分割任务的经典模型作为主干网络；
MPU[11]设计了一个层内密集连接、层间残差连接的特征提取单元；
随着神经网络设计中图卷积相关研究的开展[12]，PU-GCN[13]、AR-GCN[14]等方法在点云超分辨率任务中引入了图卷积计算，并结合了残差连接、密集连接[15]等方法；
DGCNN[16]设计了层级式的动态图结构，且不同点云任务上的大量实验证明了该模型良好的特征提取能力。在点数扩充方面，PU-Net[8]使用多个相同结构、不同参数的全连接层；
PU-GAN[17]设计了上-下-上特征扩展网络，并引入了自注意力机制；
PU-GCN[13]则设计了多种基于图卷积的升采样网络。点云超分辨率的神经网络设计还有待发展。
搭建神经网络计算深层点级特征，是基于神经网络实现点云超分辨率的有效方法。研究工作表明，点特征方法取得了良好的超分辨率效果，并能适应一些真实场景的需求。按照点特征方法在点云处理中的流程设计，重建点云的分布与中间点特征的信息量存在直接关系，如果深层点特征包含的信息不够充分，容易直接导致重建的三维点云质量较差。研究者们通过设计特定神经网络结构，加强模型对点坐标的特征抽取，提高深层特征的表示能力，进而增强神经网络的超分辨率性能。
MPU[11]是针对点云超分辨率任务设计的神经网络模型，该模型采用层级式特征抽取方法，递进式实现点云点数的上采样，主干网络采取了上-下-上的特征映射模式，能有效提升特征抽取性能。受益于深层点特征较高的表示能力，生成点云的总体质量得到了提高。然而，整体神经网络模型缺乏对局部信息的进一步处理，点云的细节信息仍不够充分。以MPU的单级网络结构为基础，重新建立点云超分辨率流程架构，并添加了特征修正单元，补充深层点特征中的细节信息。实验表明，所设计的修正单元能有效提升神经网络的超分辨率性能。
1.1 点云超分辨率的基本流程设计
图1(a)是MPU网络架构的前向传播流程示意图。MPU设计了一个层级式的特征提取架构，各层级采用了相似的网络结构设计，每层级网络完成固定倍率的点数上采样。为进一步增强不同尺度特征间的交互，MPU对不同层级的点特征进行插值，并在各层级之间添加了残差连接。一方面，层级式的网络设计增强了网络信息抽取能力，也大幅增加了网络的总参数量，降低了前向传播效率；
另一方面，点云的上采样倍率受到限制，若每层级网络实现点云的2倍上采样，最终生成的上采样点云点数就必须是输入点云数量的2的整数幂次倍，难以灵活适应点云超分辨率的实际需求。
本文以MPU的单级网络结构为基础，重新设计了点云超分辨率的前向传播流程，其结构如图1(b)所示。脱离层级式结构后，通过在点特征扩充步骤设置特定的上采样倍数，模型可以生成任意整数倍上采样的高分辨率点云。
(a) MPU前向传播流程(每层2倍上采样)
所设计网络的点特征扩充步骤与MPU的原本设计有所区别，取代一维编码方法，本文采用了二维网格编码的方式进行特征扩充。如图2(a)所示，MPU所使用的一维编码在生成的点特征后添加不同的单数字标记，以提高所生成点特征间的区分度，但在任意倍数的上采样背景下，一维编码不够灵活。二维编码方式也以降低不同支路点特征的相似性为目的，如图2(b)所示，使用不同的网格点坐标为各点特征添加标记。具体地，网格编码坐标的计算公式如下：
(1)
(2)
(3)
式中，r为目标上采样倍数，m为r除自身以外的最大因子，设置为网格的横坐标点数，n设置为网格的纵坐标点数，Gridx与Gridy表示网格的二维编码。由以上公式可以看出，二维网格编码将边长0.4的正方形区域均分出m行n列的网格点，每个网格点坐标都拼接到点特征后，标志区分各支路点特征的位置。
(a) 一维编码特征扩充
相比一位编码方法，二维编码方法更能灵活适应不同倍数的超分辨率任务，有助于进一步降低不同点特征间的相似性。由此，点云超分辨率的基本流程设计完成，输入点云首先通过单个MPU的特征抽取单元，之后生成的深层点特征通过网格编码的点特征扩充模块，实现指定倍率的点特征数上采样，最后扩充特征经过全连接层搭建的重建网络映射回三维空间，生成高分辨率的三维点云。由于MPU具有较强的点特征抽取能力，该网络模型可以取得良好的超分辨率效果。
1.2 基于特征补充的点云超分辨率
神经网络的深层特征与浅层特征有着不同的信息含义。浅层特征与输入坐标的联系紧密，保留了一定的点的三维空间关系，深层特征负责提取点云处理具体任务的相关信息，包含更多的语义信息，相对而言其对空间关系的表示能力更弱。对点云超分辨率任务，神经网络的输出结果仍需落实到三维空间上，生成更高分辨率的三维点云坐标，因此原始点云的位置信息对提升超分辨率效果有一定的积极作用。MPU前向传播与1.1节所述的基本流程中深层点特征缺乏与浅层空间坐标的信息交互，实际上限制了神经网络的超分辨率能力。本节设计了特征补充模块，对深层点特征进行特征补充，即生成相应的额外特征，在特征通道维度拼接到深层点特征中。
全局特征在点云补全、分类分割等点云处理任务中有着重要应用。相关工作表明，尽管全局特征常表示为一维向量，在分类任务中，全局特征凭借丰富的语义信息，能高效计算出各个类别的分类概率；
在补全任务中，全局特征隐含了三维模型的表面流形结构，能恢复出缺失区域的三维空间坐标。将全局特征应用于点云超分辨率，理论上可以捕捉点云的空间结构特性，辅助高分辨率点云的重建。由于点特征方法一般根据输入点云的各点坐标计算点特征，没有对不同点特征的共性表示，如图3(a)所示，本文将原始点云输入多层感知器，将原始点云映射为高维特征，通过平均池化函数压缩为特征向量，生成点云的全局特征。全局特征在点特征维度进行复制后，可以与深层点特征拼接。
前文阐述的超分辨率基本流程未添加特征信息补充，深层点特征与点云原始坐标、浅层点特征间缺乏信息交互，造成了一定的空间位置信息损失。图3(b)描述了空间位置特征的生成过程。若对原始点云运用k近邻算法，找出每个点的k近邻点，表示每个点与其邻点间的位置关系，是对点云局部信息的一种表示。一方面，将所得的k近邻索引应用于特征提取所得的深层点特征，可以提取每个点三维空间近邻点对应的点特征，表示点云的深层局部信息；
另一方面，使用多层感知器对原始三维坐标直接进行特征映射，并设置映射特征的维度与特征抽取得到的深层点特征相同，应用k近邻索引后可以表示浅层局部信息，且特征维度与深层局部信息相同。
(a) 用于特征补充的全局特征生成
为实现深层信息与浅层信息的信息交互，本文使用了多头注意力模块。深层信息被设置为多头注意力的K、V输入，浅层信息则设置为Q输入。Q和K先进行矩阵乘法计算，同时通过softmax函数，计算出V向量(即深层局部信息)在不同邻点处的权值，并与V做矩阵乘法，获得加权后的深层局部信息。这一操作实质上是计算深层点特征与浅层点特征间的相似度，并以加权的计算方式弥补深层特征的空间位置信息。最后，输出特征通过一个最大函数，消除k近邻算法引入的特征维度。
通过将深层点特征与补充的全局特征、空间位置特征以及三维点云的原始坐标在特征通道维度拼接，实现了对深层点特征的特征补充，进一步加强了深层点特征的表示能力，有助于点云超分辨率模型的性能提升。
1.3 损失函数
算法采用Wasserstein距离与均匀分布损失的联合损失函数。Wasserstein距离表征了某个分布转移到另一个分布所需要的代价，用于点云坐标时可表示不同点云间的相对距离，从而约束生成的高分辨率点云。Wasserstein距离寻找两个相同点数点云间的一个双射，使得每个点对之间的距离求和后最小，其计算公式为：
φ:Sp→Sgt为双射。
(4)
本文所使用网络的模型参数量、网络深度相比MPU大大减少，参考PU-GAN的设计，使用均匀分布损失辅助引导神经网络收敛，该损失由不均衡度、聚类度两个指标计算得出，具体公式如下：
(5)
(6)
(7)
Luni=λ1·dEMD(Sp,Sgt)+λ2·Luni(Sp)。
(8)
1.4 性能指标
采用倒角距离和豪斯多夫距离作为点云超分辨率的评估指标。倒角距离(Chamfer Distance)是一种点云间距的衡量方式，利用两个点云中点的最近欧式距离进行计算，其计算公式为：
(9)
式中，S1、S2分别表示两个点云，x与y分别表示S1与S2内的任意一点。生成点云与真实高分辨率点云间的倒角距离越小，说明二者的相似度越高，模型性能越好。
豪斯多夫距离(Hausdorff Distance)是一个最大最小函数，即一个集合到另一个集合中最近点的最大距离，在点云中该距离同样基于欧氏距离计算，其计算公式如下：
(10)
同样地，豪斯多夫距离小，表明生成点云与真实高分辨率点云越相似。作为评价指标，倒角距离反映了模型的平均性能，豪斯多夫距离指标则一定程度反映了模型的性能下限，在超分辨率任务中将二者用于评价点云距离，有助于更全面地分析模型的点云超分辨率性能。
2.1 实验数据集与网络训练设置
本文使用了PU1K公开点云超分辨率数据集，其包含1 147个3D模型，其中1 020个模型用于训练集，127个模型用于测试集。官方提供的训练集模型已经过预处理，所有3D模型分割成多个输入patch，分别表示原始3D模型的某个部分。每个patch由低分辨率、高分辨率点云对表示，低分辨率点云包含256个点，高分辨率点云则包含1 024点，因此该数据集适合4倍超分辨率的模型训练。训练集共包含69 000个patch，随机选取65 000个patch用于训练，其他4 000个patch用于训练过程的模型验证。测试集的点云数据为127个完整点云模型样本，每个样本包含256点、512点、1 024点、2 048点4种不同尺度的低分辨率点云，以及它们对应的4倍高分辨率点云，其中2 048点尺度的输入点云用于模型性能测试。
基于Pytorch深度学习框架编写了代码，算法搭载在NVDIA GeForce GTX 2080Ti GPU训练测试。网络使用Adam优化器进行学习，批处理大小batch size设置为50，初始学习率为0.001，共训练了70个epoch，分别在18、35、44、53个epoch时做一次比例为0.6的学习率衰减。数据集输入神经网络时进行了预处理，点云尺寸均归一化到半径为1的单位球内。此外，低分辨率点云还会进行一次随机旋转，从而实现数据集的数据增强。特征抽取生成的中间特征维度设置为99。
2.2 模型在PU1K测试集的测试结果
选取PU1K输入点数为2 048，4倍超分辨率为8 192点数的PU1K测试集点云测试模型性能，本文方法与基于深度神经网络的主流点云超分辨率方法的性能对比如表1所示。
表1 PU1K测试集(2 048点输入)的性能对比Tab.1 Performance comparison in PU1K dataset (2 048 input points)
由表1中数据可见，本文算法的倒角距离、豪斯多夫距离较低，且特征补充对神经网络模型带来一定的性能提升。相对大多主流方法，本文使用与MPU相同的主干网络进行信息抽取，基于所设计的训练流程，所提出的方法能取得更优的超分辨率效果。与MPU原本的网络架构相比，所设计神经网络不包含级联结构，其前向传播为线性流程，超分辨率倍率更加灵活可控。
特征补充方法的超分辨率效果如图4所示。低分辨率点云包含2 048个点，虽然能较好地表示出物体表面的大致形状，但在局部细节处信息不足。以图中的点云样本为例，低分辨率点云在指尖处的点较为稀疏，使用PU-GCN模型对其进行超分辨率时，生成点云的指尖部位不够平滑；
在处理鸭子玩具的点云数据时，PU-GCN模型在鸭子嘴部出现了明显的伪象，即部分点是在模型表面之外的。本文提出的方法在一定程度上缓和了这些问题，手指部位的点分布更加均匀光滑，鸭子嘴部的伪像效应更弱。以上实验数据表明，特征补充丰富了深层点特征的全局、空间位置信息，直接提升了生成的高分辨率点云质量。
图4 特征补充方法的超分辨率效果图Fig.4 Super-resolution results using adjunctive features
点特征方法是基于神经网络进行点云超分辨率的经典方法，现有的点特征方法中，深层点特征与重建点云坐标的关系密切，为进一步丰富深层特征的表示能力，提高模型的超分辨率性能，本文在MPU网络的基础上重建了超分辨率的前向传播流程，从全局信息、空间位置信息等方面对深层特征进行扩充。实验证明，在倒角距离、豪斯多夫距离两个指标上，所设计的神经网络模型相比主流网络取得了更低的数值，且特征补充模块进一步提升了模型性能。
猜你喜欢 点数深层分辨率 考虑各向异性渗流的重力坝深层抗滑稳定分析水利规划与设计(2020年1期)2020-05-25EM算法的参数分辨率数学物理学报(2019年3期)2019-07-23原生VS最大那些混淆视听的“分辨率”概念家庭影院技术(2018年9期)2018-11-02SAM系统对TDCS数据的优化处理与深层应用铁道通信信号(2018年1期)2018-06-06看不到的总点数数学小灵通·3-4年级(2017年12期)2018-01-23一种提高CCD原理绝对值传感器分辨率的方法制造技术与机床(2017年7期)2018-01-19基于深度特征学习的图像超分辨率重建自动化学报(2017年5期)2017-05-14画点数小学生导刊(低年级)(2016年11期)2016-11-14多核并行的大点数FFT、IFFT设计火控雷达技术(2016年1期)2016-02-06对“医患失去信任”的深层忧虑中国卫生(2015年1期)2015-11-16
