一种基于BIM和单目相机的室内定位方法

郭建军，王韦刚

一种基于BIM和单目相机的室内定位方法

郭建军，王韦刚

（南京邮电大学电子与光学工程学院/柔性电子学院，南京 210023）

传统的室内定位与跟踪需要在环境中安装大量的辅助设施，这在一些特定的场合中存在很大的局限性。针对以上问题，提出了一种基于建筑信息模型（BIM）和单目相机的室内定位及跟踪方法。该方法利用手机等移动设备上的相机获取现场图像，使用坎尼（Canny）算法进行边缘检测，结合BIM提供的几何信息实现对目标的定位，并通过改进卡尔曼滤波算法对运动轨迹进行优化，最终实现了高精度的定位跟踪。本文所提算法在实际的数据集上进行了测试，实验结果表明，本算法满足室内定位的要求。

建筑信息模型；
室内定位；
视觉跟踪；
单目视觉；
卡尔曼滤波

室内定位技术在应急救援、物品管理、商业等领域有着广泛的应用。根据是否需要在环境中安装专用的传感器、发射机或信标网络，室内定位方法目前可以划分为有基础设施的室内定位和无基础设施的室内定位。有基础设施的室内定位主要包括红外线、无线保真（wireless fidelity, WiFi）、超宽带（ultra-wide band, UWB）技术、射频识别（radio frequency identification, RFID）等定位方法[1]。这类定位方法虽然有着较高的定位精度，但是需要在环境中安装大量的基础设施以保证定位的精度[2]，存在定位成本过高的问题。因此，无基础设施的室内定位转而成为近十年来研究和开发的重点。

在诸多无基础设施的定位方法中，基于数字电视信号、磁场、气压计和环境声级的方法可以提供米级定位精度，但这在许多室内定位场景中是不够的。行人航迹推算（pedestrian dead reckoning, PDR）[3]、视觉里程计（visual odometry, VO）[4]、同步定位与建图（simultaneous localization and mapping, SLAM）[5]等定位方法会受到累积定位误差的影响，导致估计的轨迹出现漂移。

另一方面，随着当下建筑工程项目管理的数字化转型，世界各地掀起了一股研究与应用建筑信息模型（building information modeling，BIM）技术的热潮[6]。文献[7]利用单个固定安置在室内的单目相机来获取场景信息，结合BIM实现了无标签目标物的被动定位。文献[8]将BIM和优三缔科技3D（unity technologies, unity 3D）结合实现了室内环境的3维（three-dimensional, 3D）导航，该算法使用WiFi定位技术对目标进行主动定位与导航。但该算法未充分利用BIM所提供的建筑信息且定位精度不够理想，且需要在环境中安装大量的WiFi信号源。

针对以上问题，作者提出了一种基于BIM和单目视觉的室内定位方法。该方法通过手机、智能眼镜等智能设备上的相机捕获现场图像，使用坎尼（Canny）算法提取图像中的线特征，结合BIM所提供的几何信息实现对目标的定位，然后通过改进的卡尔曼滤波器对定位轨迹进行平滑滤波，以较好地实现定位与跟踪。

图1给出了本定位系统的基本流程。首先，根据BIM中可见模型边缘的长度对其进行采样。随后，将采样点投影至图像平面上，通过搜索采样点的投影与图像边缘的接近程度来建立点对应关系。为了减少阴影或重复纹理造成的错误的三维到二维的点对应，使用M-估计抽样一致（M-estimate sample consensus, MSAC）算法来剔除异常值。通过使用高斯-牛顿非线性最小化技术使得像素点与投影点之间的距离达到最小，估计出相机的位姿。最后，将相机位姿的估值送至卡尔曼滤波器，以预测下一帧的相机位姿。

图1 定位系统框架

1.1 可视模型边缘检测

在得到卡尔曼算法预测的相机坐标之后，利用布兰德（Blender）软件中的射线追踪算法检测出可视模型边缘及其在BIM坐标系下的三维坐标。相比预先计算成表格的方法，这种方法可以处理更多复杂的情况。此外，作者使用包围体层次树（bounding volume hierarchy, BVH）[9]来减少射线追踪的计算成本。

在BIM模型中，物体的边缘被描述为2个3D点。因此，场景中可见模型边缘的2个顶点都需要被检测到。然而在实际的相机视图中，边缘的2个顶点不太可能都可见。为此，作者以50 cm的间隔对可见模型边缘进行了细分。另一方面，模型的边缘在一定的相机视图下会非常接近[10]，从而产生3D点到2D点的错误匹配。为了降低这种情况对定位性能的影响，在图像平面上相互靠近的可见模型边缘将被舍弃。

1.2 模型边缘投影

在共线性方程的基础上，作者提出了一种将3D点投影至成像平面上的透视相机模型。数学上可以表示为

1.3 相机姿态估计

在得到3D点及其在相机成像平面的对应点后，相机的位姿有许多求解方法。文献[11]通过求解一个双二次方程得到相机的姿态估计，并利用一个额外的3D点验证估计的正确性。这种直接求解的方法虽然速度更快，但是容易受噪声的影响，误差较大。作者通过高斯牛顿算法迭代地估计相机姿态，以得到更为准确的位姿估计。如式（4）所示，定义重投影误差向量为，表示样本点的投影和图像匹配点之间的距离，即

式中：点（，）为3D点（X，Y，Z）在像平面上的匹配点；
为测量次数。

将式（2）代入式（4）中可知，重投影误差为相机位姿的函数。当相机位姿被正确估计时，的2范数应当等于0。设相机位姿为

则高斯牛顿算法的迭代公式为

式中为雅可比矩阵，它包含2×6个测量值对未知参数的偏导数。

通过以上步骤，得到了一个受噪声影响的相机位姿。为减小噪声对定位的影响，作者改进了卡尔曼滤波器来预测相机的位姿，以初始化下一帧的高斯-牛顿最小化。

卡尔曼滤波本质上属于一种数据融合算法，它通过系统的观测信息、状态转移以及观测模型来对状态进行光滑、滤波和预测，从而得到一个更加精确的测量值[12]。相比于粒子滤波，卡尔曼滤波的最大优点在于计算量小，能够满足实时定位的要求。

作者将卡尔曼滤波的状态向量设计为一个包含有系统待估计参数的12维列向量，可描述为

由于相机是由用户携带或安装在智能眼镜框架上的，其运动与用户的运动具有相同的特征，可以近似为匀速运动。因此，假设相机的速度在整个轨迹中速度是保持恒定的。而在等速系统模型中，加速度被视为过程噪声[13]，故式（9）可以进一步改写为

由于相机的加速度被视为白噪声，过程噪声协方差矩阵可表示为

卡尔曼滤波的观测方程为

与过程噪声类似，假设测量噪声也是具有零均值的高斯白噪声。

由于在高斯-牛顿极小化中已经估计了卡尔曼滤波器的测量值，测量噪声的协方差矩阵可计算为

标准卡尔曼滤波由状态预测和测量值更新2个主要步骤组成。状态预测步骤包括对相机状态和协方差矩阵的预测，其计算公式为：

利用修正后的数据去进行时刻的最优估计，可以使异常值的影响大大降低。

3.1 数据集

在对定位系统的性能进行评估时，定位目标的真实运动轨迹的准确性起着至关重要的作用。目前，室内环境下用于评估定位性能的数据集通常由运动捕捉[13]、激光测量[14]、目标跟踪[15]等方法收集。这些方法都需要特定的硬件或平台进行数据的采集，所得数据容易受传感器性能的影响，且准确性不高。如图2所示，作者在Blender平台上对南京邮电大学仙林校区电光学科楼四楼楼道进行了建模，通过编程控制虚拟相机的移动，从而得到了无误差的数据集。

为了更好地呈现出楼道的整体形状，楼道的天花板已经被移除。图2中深灰色的实线是为了生成相机姿态而定义的运动轨迹，其长度约为80 m，高度保持在距离地面1.6～1.8 m的范围内，相机的移动速度约为1.6 m/s。

图2 楼道的模型与相机的轨迹

为了测试不同相机参数对本算法的定位性能的影响，作者使用不同内参的相机沿着轨迹进行移动，从而得到如表1所示的5组数据集。

表1 不同数据集的相机参数

3.2 通过数据集进行实验

本小节通过2个对比实验来评估相机参数对定位性能的影响，然后将本算法与视觉里程计进行比较。

1）图像分辨率的影响。为了分析图像分辨率对定位性能的影响，作者选择数据集1、数据集2和数据集3进行实验（如图3所示）。由于虚拟相机的传感器大小对于所有分辨率是相同的，相应的像素大小随着分辨率的增加而减小；
因此，作者分别设置分辨率参数为s、search、thr和min，以保证像素大小在图像平面是相等的。

图3 不同分辨率下平移和旋转误差的累积分布函数

从图3中可以看出，具有较高分辨率的数据集3是最准确的，数据集1的定位效果最差。造成这一现象的原因是：图像的分辨率越低，图像中的边缘更加拥挤，从而产生更多的杂波，3D点与2D点之间正确匹配的数量也随之减少，影响到最终的定位结果。

2）相机视场角对定位的影响。较宽视场角的图像中观察到更多的边缘特征，这在边缘特征较少的受限环境(如狭长走廊)下跟踪是有利条件。如图4所示，为测试相同分辨率下相机视场角对定位的影响，分别选择数据集2、数据集4和数据集5进行实验。

图4 不同视场角下平移和旋转误差的累积分布函数

从图4中可以看出，对于平移误差来说，视场为90°的数据集2的定位结果是最准确的。在旋转误差方面，数据集2和数据集5的结果比较接近，优于数据集4的定位结果。如表2所示，在对每个数据集进行实验时，作者分别计算了平均位移误差和旋转误差。

表2 各个数据集的实验误差

从表2中的数据可以观察到，具有最小视场角的数据集4在平均位移误差和平均旋转误差是最大的。这是因为相机的视场角较低，使得某些帧没有足够的边缘数量来进行跟踪定位，从而导致较差的位姿估计，甚至导致跟踪定位的失败。

3）与视觉里程计的比较。如图5所示，为进一步分析本定位系统的性能，我们计算了每一帧图像的定位误差，并与视觉里程计的定位结果进行比较。

图5 每帧图像的定位误差

从图5中可以看出，视觉里程计的定位误差较大，且会随着时间的推移越来越大，这主要是因为走廊中的环境相对单一，视觉里程计难以提取到足够多的特征用于定位，相邻帧之间容易出现较大的误差。相比于视觉里程计，所提算法使用建筑物轮廓在图像上的线特征进行定位，对特征的数量要求相对较少；
因而定位精度更高，最大定位误差低于0.5 m，且无累积误差，满足长时间定位跟踪的要求。

4）算法实时性分析。在室内定位的诸多应用场景中，定位算法的实时性十分重要。本算法在实现定位功能的过程中，各步骤所用的时间如表3所示。

表3 各定位步骤的平均运行时间

从表3中可以看出，算法在估计位姿的过程中，花费的时间最多，这主要是因为在进行位姿估计时，选用了MSAC算法框架来剔除估计值中的异常值，从而增加了高斯-牛顿算法的迭代步骤。从整体上看，每帧图像定位所需的平均时间约为0.95 s，满足实时定位的要求。

本文提出了一种基于BIM和单目相机的室内定位跟踪方法。该方法解决了传统室内定位系统需要安装大量基础设施、存在累积误差大等问题，并结合改进的卡尔曼滤波算法对定位轨迹进行优化，显著提高了系统的鲁棒性与定位精度。由于BIM不仅可以提供点线特征，还蕴含着丰富的纹理特征和语义特征，在以后的工作中，可利用这些特征进一步提高系统的定位性能。

[1] 谢恩德, 洪毅. 室内定位方法综述[J]. 电脑知识与技术. 2021, 17(11): 231-234.

[2] 闫大禹, 宋伟, 王旭丹, 等. 国内室内定位技术发展现状综述[J]. 导航定位学报, 2019, 7(4): 5-12.

[3] 王亚娜, 蔡成林, 李思民, 等. 基于行人航迹推算的室内定位算法研究[J]. 电子技术应用2017, 43(4) : 86-89.

[4] 徐爱功, 闫可新, 高嵩, 等. 一种单目视觉里程计/UWB组合室内定位方法[J]. 导航定位学报, 2021, 9(5): 82-88.

[5] 王丹, 黄鲁, 李垚. 基于点线特征的单目视觉同时定位与地图构建算法[J]. 机器人, 2019, 41(3) : 392-403.

[6] 魏重洁, 宋博文. 建筑外轮廓线算法在BIM审查中的研究应用[EB/OL]. 土木建筑工程信息技术. (2022-04-01)[2022-06-18]. https: //kns. cnki. net/kcms/detail/detail. aspx?dbcode=CAPJ&dbname=CAPJLAST&filename= TMJZ20220330002&uniplatform=NZKPT&v=NKK_7JRXTCRLlSvqtw2Sp-Qf2ZUbzJrXZH-4Ta2d-6PkHFtg-5V0TErImgD__Kfi.

[7] 洪灏, 邓逸川, 邓晖. 基于BIM的单目相机室内定位技术[C]//中国图学学会BIM专业委员会. 第三届全国BIM学术会议论文集. 北京: 中国建筑工业出版社，2017: 147-152[2022-06-18].

[8] 郭语，郑加柱. BIM与Unity 3D 结合的室内导航系统[J]. 导航定位学报, 2020, 8(5): 25-31.

[9] WALD I, BOULOS S, SHIRLEY P. Ray tracing deformable scenes using dynamic bounding volume hierarchies[J]. ACM Transactions on Graphics (TOG), 2007, 26(1): 6-11.

[10] REITMAYR G, DRUMMOND T W. Going out: robust model-based tracking for outdoor augmented reality[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of 2006 IEEE/ACM International Symposium on Mixed and Augmented Reality. Santa Barbara: IEEE, 2006: 109-118[2022-07-21].

[11] GAO X S, HOU X R, TANG J, et al. Complete solution classification for the perspective-three-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 930-943.

[12] GROVES P D. Principles of GNSS, inertial, and multisensor integrated navigation systems, book review[J]. IEEE Aerospace and Electronic Systems Magazine, 2015, 30(2): 26-27.

[13] HUANG A S, BACHRACH A, HEURY P, et al. Robotics research[M]. Cham: Springer, 2017: 235-252.

[14] TEULIERE C, MARCHAND E, ECK L. 3-D model-based tracking for UAV indoor localization[J]. IEEE Transactions on Cybernetics, 2014, 45(5): 869-879.

[15] BURKI B, GUILLAUME S, SORBER P, et al. DAEDALUS: a versatile usable digital clip-on measuring system for total stations[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of International Conference on Indoor Positioning and Indoor Navigation. Zurich: IEEE, 2010: 1-10[2022-07-21].

An indoor positioning method based on BIM and monocular camera

GUO Jianjun, WANG Weigang

（College of Electronic and Optical Engineering & College of Flexible Electronics, Nanjing University of Posts and Telecommunications, Nanjing 210023, China）

Traditional indoor positioning and tracking requires the installation of a large number of auxiliary facilities in the environment, which has great limitations in some specific situations. Aiming at the above problems, this paper innovatively proposes an indoor positioning and tracking method based on Building Information Modeling (BIM) and monocular camera. In this method, the camera on mobile devices such as mobile phones is used to obtain field images. Canny algorithm is used to detect edges and the target location is realized by combining the geometric information provided by BIM. The motion trajectory is optimized by an improved Kalman filter algorithm, and the high-precision location tracking is finally realized. The proposed algorithm is testified on realistic data sets. At last the experimental results show that the algorithm meets the requirements of indoor positioning.

building information modeling; indoor positioning; visual tracking; monocular vision; Kalman filtering

TP391

A

2095-4999(2022)06-0037-06

郭建军，王韦刚. 一种基于BIM和单目相机的室内定位方法[J]. 导航定位学报, 2022, 10(6): 37-42.（GUO Jianjun, WANG Weigang.An indoor positioning method based on BIM and monocular camera[J]. Journal of Navigation and Positioning, 2022, 10(6): 37-42.）

10.16547/j.cnki.10-1096.20220605.

2022-07-24

郭建军（1995—），男，甘肃安定区人，硕士研究生，研究方向为视觉定位。

王韦刚（1975—），男，江西安福县人，博士，教授，研究方向为机器视觉与图像模式识别、室内外定位、嵌入式等。

猜你喜欢 单目位姿卡尔曼滤波 基于深度强化学习与扩展卡尔曼滤波相结合的交通信号灯配时方法北京航空航天大学学报(2022年8期)2022-08-31基于单目视觉车距测量方法综述汽车实用技术(2022年4期)2022-03-07无人机动平台着陆惯性/视觉位姿歧义校正算法中国惯性技术学报(2020年4期)2020-12-14船舶清理机器人定位基准位姿测量技术研究浙江海洋大学学报(自然科学版)(2020年5期)2020-06-19一种单目相机/三轴陀螺仪/里程计紧组合导航算法中国惯性技术学报(2019年1期)2019-05-21优化ORB 特征的视觉SLAM电子技术与软件工程(2019年6期)2019-04-26卡尔曼滤波在信号跟踪系统伺服控制中的应用设计电子制作(2019年23期)2019-02-23基于单目视觉的仓储物流机器人定位方法探讨电子制作(2018年12期)2018-08-01基于单目视觉的工件位姿六自由度测量方法研究科技与创新(2018年12期)2018-06-22基于递推更新卡尔曼滤波的磁偶极子目标跟踪北京航空航天大学学报(2017年9期)2017-12-18