基于图像和激光的多模态点云融合与视觉定位 毕业论文.docx+pdf+开题答辩+中期答辩+毕业答辩+外文翻译+项目源码及数据
中文摘要近年来，三维场景重建与定位是计算机视觉领域中重要的研究方向。随着自动驾驶技术与工业机器人技术的不断发展，对于场景重建精度与定位准确度的要求也不断提高。如何利用各种传感器采集到的数据，完成对场景的精确重建与定位，是非常有价值和应用前景的研究方向。目前这一领域中存在着许多挑战：在重建方面，使用传统方法对大场景一次性建图会产生漂移误差，同时效率较低，而采用分区域重建的方法又依赖于准确的融合技术；在定位方面，由于光照环境的变化，定位时刻的环境细节特征与地图重建时刻存在差异，在匹配上存在难度；同时，基于传统单目相机的视觉定位的视场较小，有时无法捕捉到足够多的特征进行定位。这些挑战共同限制了建图的精确性与定位的鲁棒性。针对以上挑战，本文提出了一种重建与定位流程：首先利用传感器数据，生成场景局部点云，然后对局部点云进行拼接融合，合成整体场景高精度点云，最后利用全景相机实现在场景中的定位。本文主要的研究内容包括：1.采用了三个平行的局部重建算法：基于视觉的SfM算法、基于激光雷达的LOAM算法与基于图像激光扫描仪的方法，完成对清华园局部场景的重建任务，为针对不同环境的重建任务在设备和算法选择上提供了参考；2.提出一种由粗到精的点云配准算法，对局部场景点云进行融合，生成全局高精度点云。该算法融合了传统特征提取与神经网络的方法，能够在不依赖于初始转移矩阵的情况下具有较为鲁棒的配准结果。3.提出一种跨模态鲁棒匹配的视觉定位算法，完成了基于先验点云场景中的定位任务。该算法通过将2D-3D匹配问题转换为2D-2D匹配问题，能够在仅使用全景相机，且不预先对场景进行任何布置的情况下实现定位。关键词：三维重建；定位；点云配准；神经网络；高精度地图ABSTRACTInrecentyears,3Dscenereconstructionandlocalizationisanimportantresearchdirectionincomputervisionfield.Withthecontinuousdevelopmentofautonomousdrivingtechnologyandindustrialrobottechnology,therequirementsfortheaccuracyofreconstructionandlocalizationarealsoincreasing.Therefore,howtousethedatacollectedbyvarioussensorstoaccuratelyreconstructthesceneandlocateinit,isaveryvaluableandpromisingresearchdirection.Atpresent,therearemanychallengesinthisfield.Intheaspectofreconstruction,thetraditionalmethodwillproducedrifterrorandlowefficiencyinthereconstructionoflargesceneinonetime,whilethemethodofsubregionalreconstructionreliesonac-curatefusiontechnology.Intheaspectoflocalization,duetothechangeofilluminationenvironment,thedetailedfeaturesofthelocationtimearedifferentfromthoseofthemapreconstructiontime,soitisdifficulttomatchthem.Futhermore,thevisuallocal-izationtechonologybasedontraditionalmonocularcamerahasasmallfieldofview,sosometimesitcannotcaptureenoughfeaturesforlocalization.Thesechallengestogetherlimittheaccuracyofmappingandtherobustnessoflocalization.Aimingattheabovechallenges,areconstructionandlocationprocessisproposedinthisthesis.Firstly,localpointcloudsaregeneratedfromsensordata,andthenthelocalpointcloudsaresplicedandfusedtosynthesizehigh-precisionpointcloudsofthewholescene.Finally,thepanoramiccameraisusedtorealizethelocationinthescene.Themainresearchcontentsofthisthesisinclude:1.Threeparallellocalreconstructionalgorithmsareadopted:visualbasedSFMalgorithm,lidarbasedLOAMalgorithmandimage-laserscannerbasedmethod,tocom-pletethereconstructiontaskofthelocalsceneofTsinghuaUniversity,whichprovidesareferencefortheselectionofequipmentandalgorithmforreconstructiontasksindif-ferentenvironments;2.ACoarse-to-finepointcloudregistrationalgorithmisproposedtointegratethelocalpointcloudsandgeneratetheglobalhigh-precisionpointcloud.Thisalgorithmcombinesthetraditionalfeatureextractionandneuralnetworkmethods,andcanachieverobustregistrationresultswithoutrelyingontheinitialtransfermatrix.3.Across-modalrobustmatchingvisionlocationalgorithmisproposedtoaccom-plishthelocationtaskbasedonaprioripointcloudscene.Bytransformingthe2D-3Dmatchingproblemintoa2D-2Dmatchingproblem,thealgorithmcanrealizepositioningusingonlythepanoramiccameraandwithoutanylayoutofthesceneinadvance.Keywords:3Dreconstruction;localization;pointcloudregistration;neuralnet-work;highprecisionmap目 录第1章 引言 11.1研究背景及意义 11.2研究现状 31.2.1视觉三维重构 31.2.2点云配准 81.2.3图像特征描述 121.2.4视觉定位 141.3本文工作 151.4论文结构 17第2章 局部三维场景重建 182.1 引言 182.2基于视觉的SfM三维重构 182.2.1算法简介 182.2.2COLMAP简介 192.2.3实验及结果 202.3基于激光雷达的LOAM三维重构 212.3.1算法简介 212.3.2实验设备 222.3.3实验及结果 222.4基于激光扫描仪的三维重构 232.4.1LeicaBLK360 232.4.2扫描结果 242.5本章小结 25第3章 基于由粗到精的点云配准 263.1 引言 263.2点云粗配准 263.2.1局部特征描述子 263.2.2基于点特征的全局粗匹配 283.3基于深度学习的点云精配准 303.3.1模型结构 313.3.2损失函数 323.4实验与结果 333.4.1数据采集 333.4.2全局点云配准实验 343.4.3算法评价 353.5本章小结 40第4章 基于2D-3D的图像-激光跨模态匹配定位 424.1 引言 424.2点云-平面映射 434.2.1虚拟视点图像生成 434.2.2实验结果 454.3全景畸变校正 464.3.1全景成像原理 464.3.2畸变校正原理 474.3.3实验结果 484.4基于SOSNet的图像特征提取与匹配 494.4.1网络结构及损失函数 504.4.2特征提取与匹配结果 514.5基于对极约束的定位算法 534.5.1对极约束 534.5.2定位实验 544.6本章小结 55第5章 总结与展望 575.1工作总结 575.2工作展望 58插图索引 59表格索引 61参考文献 62
