XIAOZHONGMING

【摘  要】本文主要以无人机获取的视频数据为基础，利用 VC++ 6.0 编程软件，设计开发了一套无人机视频数据定位处理系统。该系统的主要功能包括：利用无人机平台定位数据（GPS）、姿态测量数据（IMU）和视频图像数据，结合待测区域的数字高程模型（DEM）或数字表面模型（DSM），对实时传输或回放视频中的地面运动物体进行目标定位；并将视频序列影像实时纠正为正射影像。


       【关键词】无人机；运动目标；目标定位；视频捕获；图像纠正




       1  引言


       早在 80 多年前无人机就已经问世，随着科学技术的发展,无人机得到了空前的开发和运用。无人机具有高机动性、高分辨率、低成本、隐蔽性好、操作灵活等优势；无人机起降方便，可根据任务随时起飞，并可执行有人飞机不宜执行的任务，所获取的影像资料时效性强；它的生命力强，无人机即使在较恶劣的气象条件下,也能非常有效地突入危险地区上空长时间实施监视与侦察,以获取各种信息。


       无人机可用于侦查、监视、通信中继、电子对抗、测绘、航拍、遥感和灾害预警等。 传统的手持 GPS 定位和利用野外控制点的定位需要人工参与量大，并且费时耗力。为了快速实时地获取待测区域目标的动态信息，利用无人机机载的视频传感器来实时地获取物体的动态信息。因为无人机所搭载的视频传感器的两个主要特性：获取动态信息和快速响应能力。这两个特性正好符合空中侦查、监视、实时定位等应用的要求。


       本文根据应用的需求，设计了无人机视频数据定位处理系统，在 VC++6.0 编程软件的基础上，编程实现了实时显示可见光或红外视频、对运动目标点进行快速实时定位、以及视频图像纠正保存等一系列视频处理的功能。该系统可用于对地面运动车辆、人员的实时监视、跟踪与定位，具有广阔的应用前景。


       2  理论基础


       2.1 基于 GPS/INS 结合的目标定位技术 本系统的关键技术之一是基于 GPS/INS 结合的目标定位[2]。


       定位的基本原理是利用摄影测量的共线条件方程(式(1)）来求解图像对应点的大地坐标。如果已知外方位元素以及高程 Z，那么图像像点相应的大地坐标也就能解算出来。然而传统航空摄影测量都需要使用野外控制点并通过空三加密求解外方位元素，如果用这种方法将违背适时、快速定位的要求。

       随着 GPS、惯性导航系统（INS）的精度的不断提高，GPS/INS 组合系统[3]的出现为各种导航与制导需求提供了强大的技术支持，也为无地面控制的航空摄影测量与遥感的实现提供了可能。组合系统在空中测得的位置数据和姿态数据，经过校验和预处理之后，可以直接给出传感器曝光瞬间的外方位元素，从而部分乃至全部摆脱传统摄影测量对地面控制点的依赖[5,6]。


       将测姿单元采样时刻获取的姿态数据处理成可以直接用于后续摄影测量使用的相机摄影时刻的外方位角元素。


       在计算外方位元素的过程中，涉及两个不同的坐标系统即：OPK（Omega、Phi、Kappa）系统和 HPR（Heading、Pitch、Roll）。HPR 是测姿单元（IMU）用以描述面阵相机姿态的角元素系统，描述的是导航坐标系 g）与 IMU 坐标系（b）之间的关系；摄影测量领域则一般采用 OPK 表示航摄像片的外方位角元素，描述的是地辅坐标系（m）与像空间坐标系（i）之间的关系。这是两个完全不同的角元素系统，不能直接将 HPR 角度用于摄影测量处理，必须要将其转换成摄影测量所用的外方位角元素（HPR 是指飞机的偏航角、俯仰角、翻滚角）。


       求解外方位元素有两种途径：一是利用 OPK系统从地辅坐标系(m)通过旋转 ( ω, ψ,κ ) 角与像空间坐标（i ）系重合，旋转矩阵为 ：



       二是可以将旋转矩阵分解为：地辅坐标系(m）→地心坐标系(E）→导航坐标系(g）→IMU坐标系(b) [9]→传感器坐标系(c)→像空间坐标系（i）的连续旋转。旋转矩阵Rmi( ω,ψ,κ ) 还可表示为： 则联立式（2）和（3），可直接求解出外方位角元素ω、ψ、κ组成的旋转矩阵。






       利用式（4）、（5）、（6）、（7）、（8）从而可以解算出外方位元素的旋转矩阵。 再利用共线条件方程式（1），结合 DEM/DSM 经过迭代计算出图像对应点的大地坐标。 从而实现目标点的定位。


       2.2 定位精度分析[10]  由基于 GPS/INS 的目标直接定位原理通过共线条件方程(1)计算出像点 a 对应的地面点 A的平面坐标(X,Y)，在 DEM 的支持下可以迭代计算出 A 的三维坐标(X,Y,Z)。在近
似垂直摄影的条件下，X,Y 的中误差形式为
  别代表它们的误差。各偏导数的表达式由以下(10)、(11)式给出。





       假设系统参数为：摄影平台高度 H=5000m；视频摄像机在目标定位时焦距f=120mm；CCD 物理尺寸4.8mm×3.6mm。则像点坐标|x|<2.4mm ,|y|≤1.8mm。影像内外方位元素中误差：mXS =±3m ，




       此外，近似垂直成像条件下考虑到其他因素的影响，目标定位的误差为 100m。


       2.3 视频图像纠正技术


       将实时获取的视频图像结合待测区域的DEM/DSM 信息，建立图像与地图之间的关系，可以进一步分析得到运动物体的基本运动状态以及属性。


       视频图像正射纠正的基本任务是将原始中心投影的视频图像变换为与地图坐标相一致的二维正射图像，其实质是两个二维图像之间的几何变换，关键在于确定原始图像与纠正图像之间的几何关系。


       对于数字微分纠正来说，有直接法和间接法之分。本系统采用间接法（反解法）数字正射纠正[7,8]的原理纠正视频图像。具体步骤为：


       首先，设定所要生成的正射图像的地面范围和比例尺，计算正射图像的尺寸，并建立空的正射图像，逐个像素计算其对应的地面平面坐标，在 DEM 中内插高程后得到对应地面点的三维坐标，将该地面三维坐标代入共线条件方程（1），直接计算得到对应的原始图像的像点，这样以来，就建立了纠正后的正射图像与纠正前的原始视频图像像点之间的几何映射关系。


       最后，将原始图像像点(x, y) 处的灰度值赋给对应的正射图像像点坐标(X, Y)  。


另外，在反解法数字正射纠正过程中，正射图像像点坐标(X,Y ) 是整数，但是其对应的原始图像像点坐标(x, y) 不一定落在像元中心，为此必须进行灰度内插，一般采用双线性内插，求得像点( x ,y ) 的灰度值 g(x, y ) 。对于视频图像的几何纠正，逐个像元的解算方案会耗费大量的机时，处理效率较低。为克服这一问题，结合视频图像对应的地面范围较小的特点，可采用锚点校正法。即首先在视频图像上建立n×n的锚点格网，格网的间距n可按实际情况确定，然后仅仅在这些格网点上按共线条件方程作几何纠正，得到每一个格网点上的坐标矢量：
  网中的第i 行和第 j 列。最后，由于每一格网的4 个角点的坐标矢量已知，用它们作为控制，对格网内的点只要按一次多项式内插既可实现图像的几何纠正。 实验表明， 这一方案利用牺牲少量几何精度的代价换取了处理效率的大幅提高。  


       3  系统的总体设计


       3.1 总体结构设计


       根据需求和视频数据处理系统功能设计， 系统的总体结构框架如图 2 所示。





       系统主要包括视频实时显示、 视频回放、 目标点定位、 视频捕获、 视频图像纠正保存五个子系统。


       系统的主界面是基于对话框的形式而不是菜单的形式。 主要原因是由于系统接收的是实时视频数据， 无人机飞行速度较快， 一个目标往往只出现在几帧视频图像中， 如果用菜单进行定位纠正等操作， 目标很可能已经离开视线范围， 达不到理想的效果； 另外， 对话框形式的主界面简洁大方，便于一般人员的操作使用。


       3.2 功能及程序设计


       系统根据客户实际的视频数据处理的需要，分为五大功能模块：


       1）视频实时显示模块：该模块主要接收无人机传输的实时遥测数据和视频数据，采用共享内存（Memorymap_dll 共享内存动态链接库）的方式，利用函数 GetNewFrame()，一方面将压缩数据分解成遥测数据中飞机的位置信息和姿态信息并显示于主界面上，另一方面将获取的与遥测参数相对应的图像数据(YUV 格式的视频图像数据)通过多媒体定时器将每一帧图像转换为RGB 图像后显示于界面上，转换函数为ConvertYUVtoRGB（）。多媒体定时器可以将定时精度达到 1ms，这里我们采用精度为每帧 40ms。  


       2）视频回放功能模块：该模块是将已经存储的 YUV 视频数据回放显示。在这个模块中我们采用的是 Microsoft 公司的数字视频软件包即VFW。VFW 使用的视频函数都封装在 vfw32.lib库文件中，用于显示图像的函数为 DrawDibDraw（）[4]，它与 DIB 位图函数 StrctchDIBits（）功能相当。


       3）目标点定位模块：已知获取的遥测参数、镜头焦距，利用共线条件方程，可以求得视频图像上任一点图像坐标相对应的大地坐标，如果是传输的是实时的视频数据，还可以实现实时定位的功能。


       4）视频捕获模块：该模块用于截取保存任意时间段的视频数据和遥测参数，已备后续使用。


       5）视频图像纠正保存模块：该模块可以实现抓帧并保存视频流中的任意一帧图像， 也可以抓取保存经过纠正后的纠正图像以及相应的遥测参数。纠正过程中采用间接的方法进行纠正。  


       4  系统实现


       该系统通过模拟的视频数据格式，基本实现了系统中的各个功能，各个模块界面如图所示。






       5  结束语


       无人机视频数据定位处理系统是在VC++6.0 编程软件下通过编程实现的，该系统将实时和事后视频数据处理集合在一起，既保证了快速获取区域信息又实现了事后的回放处理， 同时也实现了目标点的快速实时定位功能以及影像实时纠正处理。系统的核心技术是遥测参数的解算和目标点的定位。但是由于没有真实的飞行实验数据，只能通过模拟数据进行实验，通过模拟数据基本实现了系统中的各个功能，达到了预期的要求。

七月的风