项目经历

（1）独立承担无人机对地车辆自动跟踪软件系统的研发，采用大疆的六旋翼无人机平台，挂载云台以及摄像机，在软件中实现对地面上的车辆进行自动跟踪，跟踪系统在地面站的图像接收设备中，对无人机视觉平台传输下来的图像进行采集、预处理、识别、定位、坐标计算、坐标网络发送显示等，同时可以通过界面上的按钮控制无人机以及云台的俯仰水平横滚等各个方向的运动，也就是给飞控系统发送对应的指令集，同时自动保存相应的图像以及经纬度数据。

（2）独立研发大兴安岭无人机火情监测软件系统，该软件基于VC++2008开发环境，用C++语言，采用多线程，主线程进行视频采集显示和火情检测，视频采集显示模块是通过无人机的数据链传回的模拟视频数据经过与PC机的PCI卡槽相连的采集卡进行A/D转换至计算机内存进行显示，火情检测模块是通过对采集进计算机内存的视频图像进行预处理、二值化、阈值法、火源像素区提取等定位出火源像素区域，并用矩形框标记。子线程进行飞机遥测信息的接收和火源经纬度坐标的发送，遥测信息的接收和发送通过网线，采用UDP协议进行接收的，同时利用火源像素坐标和遥测信息的关系，计算出火源的实际地面经纬度坐标，并且进行实时网络通信发送，并且其中的管理模块加载了SQLserver进行数据库，采用SQL语句及相应的接口进行数据库管理的开发，如删除、增减、查询等。

（3）独立研发S100无人机的基于H264和JPEG2000压缩码流视频协议解析，拆包头、组包，将大端数据进行小端转换，将无人机的打包视频数据通过网口在UDP传输协议下，利用socket套接字接收，然后进行协议拆包、组包、排序、提取I、P、B帧，帧的标志位为（I帧）00 00 00 01 67或者00 00 00 01 61（P帧），然后进行H264和JPEG2000码流解码，同时进行了多级缓冲区的设计，采用线程通信消息触发机制实现整个过程流畅的实时播放、处理检测跟踪等各种需求。

（4）独自担任国家973自然科学基金项目中的一个子课题，自主开发全景式复眼连续跟踪探测系统，采用仿生复眼系统进行全视场探测，使用五个子相机和一个大孔径相机形成全视场连续跟踪，大孔径相机采用嵌入式系统，在Linux操作系统平台下进行局部精确跟踪，而五个子相机与PC通过图像采集卡相连接，采用高斯背景差分算法进行运动目标检测和质心提取、运动参数估计。子相机和大孔径之间采用派尔高D协议进行串口通信，当某个视场子眼发现运动目标后就会通知中心主眼相机转过去进行精确定位，并且在重叠区域采用昆虫侧抑制思想进行探测，主眼目标若跟丢，子眼又会自动开始全方位探测。当出现多目标时，可以进行自动识别小偷行为并且自动用外接矩形框自动框出运动目标，然后进行自动小偷跟踪和探测，不再对其它运动目标探测了（可以进行实物演示）。

（5）独立研发车牌实时识别系统和人脸实时定位系统，开发环境基于VC++2008，车牌识别系统主要采用了车牌定位、字符提取、字符识别，这几个过程是在一个线程里面进行，首先对实时从摄像机采集的视频流进行预处理，也就是滤波、直方图均衡等，然后采用水平垂直投影法定位出车牌的矩形区域，再对矩形区域采用投影和连通域结合的方法进行字符提取，最后采用神经网络和最小距离以及最小感知法结合的方法实时识别出字符，并且实时显示在界面上，人脸识别系统主要是基于肤色建模以及形态学结合的方面实时定位出人脸，并且进行标记显示。

（6）独立研发仿腾讯QQ客户端软件系统用于教育系统，也就是在线教育，界面模仿QQ风格加载自己的图片，在功能上具有实时多点文字传输、文件传输、截屏、白板功能、实时音频聊天、实时视频聊天等，另外在摄像头端加入了云台和自动跟踪导播模块，当用于学校教室里进行老师讲课录播时，老师在讲台移动讲课时，摄像头可以自动跟踪，并且自动变焦，将老师讲课的视频图像实时传输到服务器或者其它地方，当有学生答问题的时候又可以自动跟踪学生，将学生的视频图像显示并且实时传输保存。

（7）独立研发小区自动检测跟踪联动报警系统，该系统由8个定点球机构成，然后由一台PC机器控制，通过8路采集开将各个球机视频采集进计算机，同时这8个摄像头是安置在小区的各个角落，把这8个摄像头看成一个整体，覆盖了整个小区视场，当小区出现了一个感兴趣运动目标后，这8个球机会交替接力自动识别检测跟踪，并且实时通过TPC/UDP协议采用socket套接字将视频数据和日志数据实时传输到服务器上，同时将日志信息和视频图像信息保存到数据库中，以便查询。当出现多目标时，则可以自动选择跟踪策略和人工锁定，自动选择跟踪策略有跟踪像素目标最大的物体、具有一定颜色或者形状特征的物体、跨过图像虚拟警戒线的物体、巡航随机切换跟踪。人工锁定则需要用户用鼠标在视频图像上用矩形框选定要跟踪的目标，然后整个系统根据用户锁定的目标进行实时跟踪、传输和保存等，整个系统的控制协议基于派尔高D协议，通过串口通信控制，视频图像通过采集卡采集，在产品升级中，根据客户需求加入了网络摄像机，多个IPC连接到交换机上，让pc机器进行网口采集视频图像，基于onvif协议或者私有协议。

（8）独立研发自动检测学生起立做下行为检测软件系统，采用带有云台的球机，软件系统实时采集教室内的图像，当有学生起立或者坐下行为的时候自动识别检测出，并且自动输出坐标，控制系统根据坐标自动拉近镜头焦距，也就是放大焦距，减小视场，目标被放大，这样就可以得到起立或者坐下学生的近景图像，进行实时录制保存。

（9）独立研发并联机械手的视觉系统，对传送带上的产品进行自动识别、检测尺寸、测量距离、缺陷检测等，并且将检测的结果发给控制系统，并且显示到界面上，控制系统控制伺服电机，机械手通过一个气缸控制的吸盘进行产品的抓取、分拣、剔除等操作，该视觉软件系统实时识别，可以检测二维也可以进行三维检测，同时进行了固定相机和运动相机下的两种模式的手眼标定，同时也基于单相机的相机标定。

（10）独立研制车流量检测系统，该系统是在公路上运行的，对公路上的某些车道进行自动的车流量计数，通过视觉图像算法自动识别车辆并且计数，将每个车道的车辆显示到表格中

（12）独立研发枪球联动自动识别定位系统，枪机就是固定焦距的摄像机，对大视场下的目标进行行人自动识别，球机是一个小视场系统，根据识别到的行人自动定位放大，对识别到的行人进行人脸识别和人物跟踪。

（13）独立研发无人机多航拍图像的三维重建系统，根据无人机多角度的航拍图像进行地面物体的三维图像生成，同时将高度信息绘制成等高线，另外识别出岩石树木等一些特征的物体。