《智能移动视频监控系统的设计与实现.pdf》由会员分享，可在线阅读，更多相关《智能移动视频监控系统的设计与实现.pdf（92页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 工学硕士学位论文 智能移动视频监控系统的设计与实现 高海辉 北京工业大学 2010 年 4 月 分类号：TP332 单位代码：10005 学 号：S200702063 密 级：公开 北京工业大学硕士学位论文北京工业大学硕士学位论文 题题 目目 智能移动视频监控系统的设计与实现智能移动视频监控系统的设计与实现 The Design and Implementation of Intelligent Mobile Video Supervising System 研究生姓名：高海辉 专 业：信息与通信工程 研究方向：智能化信息处理 导 师 姓名：贾克斌 职 称：教授 论文报告提交日期 2010
2、年 4 月 学位授予日期 授予单位名称和地址 北京工业大学 北京市朝阳区平乐园 100 号（100124）独独 创创 性性 声声 明明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：高海辉 日期：2010 年 4 月 关于论文使用授权的说明关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有
3、权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：高海辉 导师签名：贾克斌 日期：2010 年 4 月 摘要 -I-摘 要 3G 开创了无线通信与 Internet、视频融合的新时代，由此产生的移动视频业务以其鲜明的移动性、实用性、即时性和亲临性，受到了学术界、产业界和应用部门的高度重视。本文在总结当前移动视频业务的特点及技术研究现状的基础上，确立课题的智能化与嵌入式化研究方向，提出构建一套完整的智能移动视频监控系统的研究目标。论文主要完成了以下工作：1）在对各种技术的研究论证基础上
4、，给出系统的总体技术实现方案，从网元组成、模块接口与业务流程三个层面进行剖析。系统划分为 DSP 端，视频监控业务平台以及用户终端三部分；2）在 DSP 端的设计中，以 TMS320DM642 嵌入式平台为基础扩展视频接口、网络接口和异步 UART 接口，实现基于 FVID 驱动模型的视频采集、基于人体形态学的运动目标检测算法、基于短消息的联动报警、基于 H.264 的视频压缩编码、基于 NDK 的网络应用服务、YUV4:2:2 到 YUV4:2:0 的视频格式调整、D1 到 CIF的图像大小转换和基于 UART 的云台/机器人控制；3）在视频监控业务平台的设计中，基于 QuickTime S
5、treaming Server5.5 构建流媒体服务器，基于 IIS 7.0 构建 Web 服务器，实现将 DSP 传送来的视频流化并中继分发给用户终端；4）在用户终端的程序设计中，以 Windows Mobile 为例，给出基于 B/S 和C/S 两种模式下的控制程序设计方法，使得客户端在播放视频的同时具备控制系统的云台/机器人、视频采集参数设置和运动目标检测开/关等功能。系统进行工程应用部署与测试。实验结果表明，系统达到预期设计目标，初步实现以嵌入式平台为核心，以智能分析为特色。嵌入式化使系统具备体积小巧，稳定性高，移动性强，适合各种环境应用的优势。智能化的运动目标检测和联动报警功能更是实
6、现了无人值守的高度自治性，降低了系统成本。未来，本文设计的智能移动视频监控系统将会促进家居安防、公共安全、石油化工、道路交通、环境监测、电力、房地产、制造业以及军事基地等需要远程视频监控的传统产业的可视化便捷管理，促进移动视频产业价值链的多元化发展，衍生出基于移动视频的融合性行业应用，拓宽行业市场容量。关键词 视频监控；运动目标检测；流媒体；DSP；智能 北京工业大学工学硕士学位论文 -II-Abstract With the rapid development of 3G,mobile video monitor service is expected to be the most prom
7、ising value-added services in this new era.It is enjoying high priority in academia,industry and application departments with the advantages of mobility,practicality,instantaneity and personal experience.Based on the feature and research of previous systems,the research direction of intelligent&embe
8、d is established and an intelligent mobile video surveillance system is designed in this thesis.The remarkable contribution and application achievements of this paper are stated as follows:1)Based on the feasibility study of the technologies,a diagram design of video monitor system is made for an an
9、alysis from the perspective of NE component,module interface&business process.The system is divided into three parts:DSP terminal,Video Surveillance Services Platform&User Terminal.2)Based on TMS320DM642 embedded platform,video interface,network interface&asynchronous UART interface is extended in D
10、SP terminal,so as to realize the function of video capture based on FVID drive module,human morphology-based detection algorithm of moving objects,linkage alarm based on short message service,H.264-based compression algorithm,NDK-based network application services,video format adjustment betweenYUV4
11、:2:2 and YUV4:2:0,and UART-based image size conversion from D1 to CIF&PTZ/robot control.3)Streaming media server and web server based on quicktime streaming server5.5 and IIS7.0 respectively are designed in video surveillance services platform,which makes the video from DSP fluided and distributed t
12、o user terminals.4）Based on B/S&C/S two modes,Control procedures on windows mobile is designed in user terminal.It facilitates the user with the function of PTZ/robot control,video capture parameters configuration and motion detection on/off along with video playing.With embedded and intelligent fea
13、tures,the system proves to meet design expectations.Embedded technology makes the system enjoy the advantage of compact size,high stability,strong mobility and application suitability in a variety of environment.Similarly,Intelligent Motion Detection and linkage alarm function has greatly reduced th
14、e cost of system because of its autonomy.In the future,intelligent mobile video surveillance system has further extensive application of space in intelligent home,public places monitoring,petrochemical industry,tragic information monitoring,environmental monitoring,power,real estate,manufacturing an
15、d military.It meets the demand of traditional industries which need remote video surveillance,visualization convenient management enriches multiple industrial applications and expand trade market capacity.Keywords video surveillance;moving object detection;streaming media;DSP;intelligence 目录 -III-目
16、录 摘 要.I ABSTRACT.II 第 1 章 绪论.1 1.1 智能移动视频监控的背景及意义.1 1.2 智能移动视频监控的研究及发展.2 1.2.1 智能移动视频监控的关键技术.2 1.2.2 智能移动视频监控的应用领域.4 1.3 论文的研究内容与特点.5 1.4 论文的组织与结构.5 第 2 章 系统的整体方案设计.7 2.1 智能移动视频监控系统基本实现原理.7 2.2 智能移动视频监控系统技术实现方案.8 2.2.1 业务系统结构.9 2.2.2 系统网元功能.9 2.2.3 模块之间接口.11 2.2.4 典型业务流程.13 2.3 本章小结.15 第 3 章 DSP 端的设
17、计与实现.17 3.1 DSP 端的功能需求与指标.17 3.2 DSP 处理器的选型与分析.17 3.3 DSP 端的硬件设计与实现.18 3.3.1 视频采集显示模块设计.18 3.3.2 以太网络接口模块设计.20 3.3.3 异步 UART 模块的设计.20 3.4 DSP 端的软件设计与实现.21 3.4.1 视频采集功能的设计.25 3.4.2 视频格式调整的实现.31 3.4.3 智能监控算法与报警.33 3.4.4 视频 H.264 编码设计.43 3.4.5 网络传输功能的设计.46 3.4.6 云台与机器人的控制.50 3.5 本章小结.53 第 4 章 业务平台的设计与实
18、现.55 4.1 业务平台的基本实现原理.55 4.2 业务平台的技术实现方案.56 4.2.1 业务平台的技术选型.56 4.2.2 业务平台的程序设计.58 北京工业大学工学硕士学位论文 -IV-4.3 本章小结.65 第 5 章 客户端的设计与实现.67 5.1 客户端控制功能的基本实现原理.67 5.2 客户端控制功能的技术实现方案.67 5.2.1 基于 B/S 模式的程序设计.67 5.2.2 基于 C/S 模式的程序设计.69 5.3 本章小结.72 第 6 章 总结与展望.73 6.1 总结.73 6.2 展望.74 参考文献.75 致谢.79 附录.81 攻读硕士学位期间已发
19、表的学术论文.81 攻读硕士学位期间获得的软件著作权.81 攻读硕士学位期间参加的科研活动.81 攻读硕士学位期间获得的奖励.82 第 1 章 绪论 -1-第 1 章 绪论 1.1 智能移动视频监控的背景及意义 3G 开创了无线通信与 Internet、视频融合的新时代，由此产生的移动视频业务以其鲜明的移动性、实用性、即时性和亲临性，已成为众多移动增值业务中的一个亮点。移动视频业务是指通过移动网络和移动终端为移动用户提供视频内容的新型通信服务，它的主要特征在于传送的内容是比文本、语音更加高级的视频图像，并可以伴有音频信息。移动终端和网络技术的不断发展，为移动视频业务的出现和推广提供了必要的条件
20、。市场需求和技术进步共同推动移动视频业务的研究工作在全球取得了重大进展，并使得移动视频业务成为了移动运营商、设备制造商和内容提供商共同关注的焦点之一1。据英国 Strategy Analytics 公司的研究报告，08 年，全球有超过 1.5 亿的用户使用移动视频业务，市场规模达 47 亿美元。全球主要的移动视频业务运营商和业务如下表 1-1 所示。表 1-1 全球主要的移动视频业务运营商和业务 运营商 业务内容 中国移动 多媒体信息服务 中国电信 全球眼 中华电信 移动视频监控 德国 T-Mobile 多媒体信息服务 美国 Cingular 及 T-Mobile 多媒体信息服务 日本 NTT
21、 DoCoMo 流媒体视频业务、3G 手机-PC 实时视频会议服务 韩国 SKT 多媒体内容、VOD、MOD、可视电话、多媒体信息 英国 O2 多媒体信息服务、移动视频游戏、移动可视电话 意大利和记黄埔 可视电话 移动视频监控作为移动视频业务的重要子类，已在很多国家和地区得到推出，并在某些国家得到很好的发展。移动视频监控将会促进家居安防、公共安全、石油化工、道路交通、环境监测、电力、房地产、制造业和军事基地等需要远程视频监控的传统产业的可视化便捷管理，促进移动视频产业价值链的多元化发展，衍生出基于移动视频的融合性行业应用，拓宽行业市场容量。正因如此，移动视频监控的应用范围正在全速渗透到各行各业
22、乃至人们的日常生活之中，其将成为未来移动通信新的市场增长点，真正使移动用户享受无线视频掌上未来1。北京工业大学工学硕士学位论文 -2-1.2 智能移动视频监控的研究及发展 根据视频处理技术水平发展的不同，视频监控系统经历了模拟视频监控系统，数字视频监控系统和网络视频监控系统三个阶段。其中，智能移动视频监控系统作为网络视频监控系统的最新发展方向，具有鲜明的移动性、实用性、即时性、智能性和亲临性。系统以嵌入式系统为核心，以智能分析为特色，以移动便捷为目标引发了视频监控行业的技术革命，受到了学术界、产业界和应用部门的高度重视。系统不仅具备体积小巧，稳定性高，移动性强，适合各种环境应用的优势，而且智能
23、化的异常检测、自动报警功能更是实现了无人值守的高度自治性，降低了系统成本。1.2.1 智能移动视频监控的关键技术 智能移动视频监控系统的主要关键技术及研究领域有：音视频编码标准、流媒体技术、网络传输技术、视觉分析技术和嵌入式技术。（1）音视频编码标准2 依据 3GPP 的 PSS 规范，通用移动通信系统（UMTS，Universal Mobile Telecommunications System)的移动分组流媒体支持的编码类型包含视频、音频、静态图像、位图、向量图、普通文本和定时文本等，其中音频和视频的编解码类型可以有多种组合。视频的媒体编解码类型主要有国际标准化组织 ISO 和国际电工委员
24、会 IEC关于静止图像的编码标准 JPEG/JPEG2000，关于运动图像的编码标准 MPEG-1，MPEG-2，MPEG-4 等，以及国际电信联盟 ITU-T 制定的视频编码标准 H.26X 系列。表 1-2 列出了各视频编码标准的目标码率和应用领域。其中，H.264 标准是一个面向未来 IP 和无线环境下的视频压缩标准，其在视频压缩效率方面比目前所有的视频压缩标准都要高。表 1-2 视频编码标准的目标码率和应用领域 组织名称 视频编码标准 码率范围 典型应用 ITU-T H.26L 64 kbps 到 240 Mbps 兼顾广播和电信、覆盖从低码率通信到高清晰电视的广域标准 ISO CD
25、14496-2 MPEG-4 24-1024 kbps 实时多媒体监控、低比特率下的移动多媒体通信、内容存储和检索多媒体系统等 ITU-T H.263 64 kbps 或Device Drivers-UserDefined Devices，增加三个视频端口设备并进行如下图 3-8 的配置17，VP0 和 VP1 设置成视频输入端口，VP2 口设置成视频输出端口。图 3-8 视频端口的配置（2）微驱动通用部分的设备参数设置 为微驱动通用部分配置设备参数。以 VP0 的视频采集为例，主要配置了端口参数和采集通道参数。/*端口参数*/VPORT_PortParams VPM642_vCapParam
26、sPort0=FALSE,/Dual channel mode enable VPORT_POLARITY_ACTIVE_HIGH,/vport control pin 1 polarity VPORT_POLARITY_ACTIVE_HIGH,/vport control pin 2 polarity VPORT_POLARITY_ACTIVE_HIGH,/vport control pin 3 polarity&TVP5150_Fxns,北京工业大学工学硕士学位论文 -28-INV,;/*采集通道参数*/#define LINE_SZ 720#define NUM_LINES 288 VP
27、ORTCAP_Params VPM642_vCapParamsChan0=VPORT_MODE_BT656_8BIT,/视频输入模式选择：8BIT，BT.656 模式 VPORT_FLDOP_FRAME,/场或帧捕获：帧，即捕获一帧 VPORT_SCALING_DISABLE,/是否对输入信号进行缩放：否 VPORT_RESMPL_DISABLE,/是否对 4:2:2 格式重采样成 4:2:0 VPORTCAP_BPK_10BIT_ZERO_EXTENDED,/10bit数据打包成64bit数/据包的方式 VPORTCAP_HRST_END_HBLK,/水平计数器复位模式 VPORTCAP_V
28、RST_START_VBLK,/垂直计数器复位模式 VPORTCAP_FLDD_DISABLE,/是否使用场同步信号：否 VPORTCAP_EXC_ENABLE,/extCtl：1 VPORTCAP_FINV_ENABLE,/fldInv：1/XstartXstop 定义图像的宽度，YstartYstop 定义图像的高度，4 个参/数决定了捕获的图像帧在窗口中的位置 0,/fldXStrt1 18,/fldYStrt1 0,/fldXStrt2 18,/fldYStrt2 LINE_SZ-1,/fldXStop1 NUM_LINES+18,/fldYStop1 LINE_SZ-1,/fldXS
29、top2 NUM_LINES+18,/fldYStop2 (LINE_SZ3),/指示 FIFO 的门限，当捕获的数据达到门限值则出发/EDMA 3,/视频帧缓冲区数量：3 个 8,/视频帧缓冲区的内存对齐要求 VPORT_FLDS_MERGED,/场 1 和场 2 是否在存储器中分开存放：不分 NULL,/DSP/BIOS 内存段 ID EDMA_OPT_PRI_HIGH,/EDMA 传输的优先级 8/EDMA 中断 ID;第 3 章 DSP 端的设计与实现 -29-（3）微驱动特殊部分的设备参数设置 为微驱动特殊部分配置设备参数。VP0 采用 TVP5150 解码芯片，配置如下：TVP51
30、50_ConfParams VPM642_vCapParamsTVP5150=TVP51XX_MODE_PAL601,/TVP5150 的视频模式：PAL TVP51XX_AFMT_COMPOSITE,1,/输入口;（4）视频帧缓冲区的管理机制 前面在采集通道参数的配置过程中，设定了视频帧缓冲区数量为 3 个。3 个视频帧缓冲区通过 FVID_alloc()，FVID_free()和 FVID_exchange()函数实现在应用程序和驱动程序间的轮换，管理策略如下图 3-9 所示：(a)(b)(c)(d)(e)图 3-9 采集缓冲区的管理机制 如图 3-9（a），在视频采集时，3 个视频帧缓冲
31、区会周期地被驱动程序循环调用并填充视频数据。当应用程序调用 FVID_alloc()函数时，应用程序会从驱动程序获取到存储有最新视频数据的缓冲区，而驱动程序对余下的 2 个缓冲区进行周期的调用和填充视频数据，过程如图 3-9（a）到（b）。当应用程序调用FVID_free()函数时，应用程序会将一个空的缓冲区还回给驱动程序，以供驱动程序填充视频数据，过程如图 3-9（b）到（a）或者（e）到（b）。FVID_exchange()函数是 FVID_free()和 FVID_alloc()函数的集合，当应用程序调用 FVID_exchange()函数时，应用程序在将一个空的缓冲区还回给驱动程序去填
32、充视频数据的同时将从驱动程序获取到存储有最新视频数据的缓冲区，过程如图 3-9（b）到（c）和（c）到（d）。驱动程序通过这样的视频帧缓冲区管理机制，独立缓存着视频数据，不但不会影响应用程序的执行，并且始终可以为应用程序提供最新的一帧图像。只要内存足够大，还可以缓冲更多帧的视频数据，大大提高了视频图像的采集和处理速度。北京工业大学工学硕士学位论文 -30-（5）驱动程序的调用流程 根据以上对视频采集驱动的设计，应用程序调用驱动程序的流程如图 3-10所示36。应用程序执行到第 4 步以后，就可以通过 FVID_alloc()和FVID_exchange()函数不断的获得最新的视频图像。当应用程
33、序结束时候，可以调用 FVID_delete()等函数将驱动程序占用的资源一一释放。图 3-10 驱动程序的调用流程（6）视频采集的关键代码/*声明采集缓冲区*/#pragma DATA_ALIGN(YArray,128)static unsigned char YArrayLINE_SZ*NUM_LINES*2;/*设置驱动句柄和缓冲区指针*/FVID_Handle capChan;FVID_Frame*capFrameBuf;/*初始化采集设备并设置参数*/capChan=FVID_create(/VP0CAPTURE/A/0,IOM_INPUT,&status,(Ptr)&VPM642_
34、vCapParamsChan0,NULL);FVID_control(capChan,VPORT_CMD_EDC_BASE+EDC_CONFIG,(Ptr)&VPM642_vCapParams TVP5150);/*打开采集设备*/第 3 章 DSP 端的设计与实现 -31-FVID_control(capChan,VPORT_CMD_START,NULL);/*为视频采集分配缓冲区*/FVID_alloc(capChan,&capFrameBuf);/*采集视频到缓冲区*/FVID_exchange(capChan,&capFrameBuf);/*缓冲区中 YUV 分量的读取*/inBuf0
35、=capFrameBuf-frame.iFrm.y1;3.4.2 视频格式调整的实现（1）YUV4:2:2 与 YUV 4:2:0 的转换 进行 YUV4:2:2 到 YUV4:2:0 的格式转换，是因为 h.264 编码器要求输入图像的颜色空间为 YUV4:2:0 格式，此外其与 YUV4:2:2 相比，颜色分量所占的空间减少了一半。本文通过 VPORT 硬件上的色度重采样滤波器并加之以软件方式实现的垂直方向上 1/2 色度信号抽取滤波来实现 4:2:2 至 4:2:0 的图像格式转换。首先，将程序中为 VPORT 驱动提供的 VPORTCAP_Params 类型结构体变量的resmpl 属
36、性设置为 VPORT_RESMPL_ENABLE。这样使用 FVID_alloc()和FVID_exchange()所捕获到的每一帧数据就是经过色度水平滤波后的图像。然后只要再对 Cb、Cr 缓冲区中数据统一地取偶数行或奇数行数据即可实现 4:2:2 至4:2:0 的图像格式转换。在视频显示过程中需要进行 4:2:0 至 4:2:2 的格式转换。最简单的一种方法是将 4:2:0 格式的图像数据的 Y 分量保持不变，而将 Cb、Cr 分量的每一行数据复制成 2 份从而使图像数据色度分量在垂直方向上的数据量加倍，然后将程序中为VPORT 驱动提供的 VPORTDIS_Params 类型结构体变量的
37、 resmpl 属性设置为VPORT_RESMPL_ENABLE，这样就能够在视频显示通道中实现 4:2:0 至 4:2:2的图像格式转换。（2）D1 与 CIF 的转换 要从D1格式实现CIF格式，水平和垂直方向都应该有一个二分之一的缩放。本文通过 VPORT 硬件上的水平 1/2 抽取滤波器并加之以软件方式实现的垂直方向上 1/2 抽取滤波来实现 D1 至 CIF 的图像格式转换。首先，将程序中为 VPORT驱动提供 的 VPORTCAP_Params 类 型结构 体变量 的 scale 属 性设置为北京工业大学工学硕士学位论文 -32-VPORT_SCALING_ENABLE。这样使用
38、FVID_alloc()和 FVID_exchange()所捕获到的每一帧图像的大小就是 360 576，即把 D1 中每一行的 Y 分量的 720pix抽样为 360pix，但行数不变，还是 576。然后只要对 Y、Cb、Cr 缓冲区中的数据统一地取偶数行或奇数行即可，于是编写一个 YUV422to420 函数，完成功能为 Y分量每隔两行（720pix）取 360pix，UV 分量每隔四行（720pix）取 180pix。但是运行结果发现 CIF 图像的颜色不对，上半部分红绿相间，且稍微往下倾斜，下半部分则为蓝黑相间。经过分析，发现前面的 VPORT_SCALING_ENABLE 设置使得
39、UV 分量每行多出来了 4 个像素，Cr，Cb 由常理的 180*576=103680 变成184*576=105984。由此，将上面的 UV 分量每隔四行（720pix）取 180pix改为每个四行（736pix）取 184pix。总结 VPORTDIS_Params 类型结构体变量在取值不同时，视频数据在内存的排列方式如下图 3-11 至图 3-13。（a）Y 分量 （b）UV 分量 图 3-11 SCALING=0（不缩放）与 mergeFlds=TRUE（两场合并）（a）Y 分量（b）UV 分量 图 3-12 SCALING=0（不缩放）与 mergeFlds=FALSE（两场分离）（
40、a）Y 分量 第 3 章 DSP 端的设计与实现 -33-（b）UV 分量 图 3-13 SCALING=1（缩放）与 mergeFlds=TRUE（两场合并）3.4.3 智能监控算法与报警 根据功能需求，本节将设计并实现一种基于人体形态学的运动目标检测算法。算法将实时对采集的视频进行智能视觉分析并根据处理结果进行视频通道的自动切换和基于手机短信方式的报警。运动目标检测是图像分析、图像识别及图像理解的基础，检测的效果直接影响后续异常报警、目标跟踪及行为理解等工作37,38,39。常用的运动目标检测方法可以归纳为光流法、帧差法、背景减法三种40。后两者求解两帧对应像素的差值，其中变化区域为运动对
41、象，未变化区域为背景，并以变化区域里的总像素数作为是否发生运动的判别阈值41,42。这种以变化像素数的多少进行运动发生与否的判决，存在以下缺陷：1）虚警严重。无法区分出人体运动目标和环境引起的干扰运动目标（如车辆、宠物、窗帘摇摆、光线变化、相机噪声等）；2）目标漏检。当人离摄像头较远，人体运动目标区域的总像素数小于设定阈值时，人体运动目标被漏检；3）效率低下。干扰运动目标引入到后续的目标跟踪和行为分析等环节，造成资源浪费，尤其像 DSP 这样的嵌入式系统。于是，本文从人体形态学出发，统计视频监控中的人体特征。对人体特征运用数学方法，提取出人体头肩的投影曲线相似度阈值tjT、头发占头部的比例系数
42、rT和人体宽高比率whT三个特征。将三个特征作为关键参数取代现有算法的阈值作为运动目标检测的判别依据。算法的关键目的在于尽可能地区分出人体运动目标和环境引起的干扰运动目标，克服虚警的发生，提高系统的稳定性。算法的总体流程如下图 3-14 所示。北京工业大学工学硕士学位论文 -34-图 3-14 智能视觉分析及报警的流程图 图 3-14，详细设计如下：（1）视频中的人体特征 由于人体是非刚体，在视频监控中可能呈现出各种不同姿态。为了从这些姿态中提取出相对稳定的人体特征，经实验统计，发现视频中的人体姿态可归为三大类：侧姿、正姿、不规则态，如图 3-15 的 hall 测试序列：(a)侧姿 (b)正
43、姿 (c)不规则态 图 3-15 hall 序列中人体运动的三种典型姿态 第 3 章 DSP 端的设计与实现 -35-图 3-15（b），其头肩部的形状相对于其他部位来说变化较小，而且不容易受到外界因素遮挡，因此将头肩部形状作为一个人体体征。图 3-15（a）和（c），头肩部形状并不明显，但是统计发现，人体的头发具有比较固定的颜色（如亚洲人黑色等），而且不易受人体所处姿态影响，因此可将头发占头部的比例作为另一个人体特征，以弥补头肩部形状不明显时的人体检测。最后，一般情况下，人体宽度窄于高度，所以宽高比参数可以去除一些简单的运动干扰。（2）图像预处理 预处理环节主要针对采集得到的视频图像的噪声进
44、行滤除。本文采用 TI 公司提供的 IMGLIB 算法库43来完成图像预处理。MIGLIB 库文件包括很多图像和视频处理函数。所有函数都是对 C 语言编程进行了优化，在对图像处理时间十分敏感的实时系统中尤为适用。用户在使用时只需选择恰当的参数即可完成图像滤波、图像增强等常用处理算法。下面以本文使用的中值滤波为例，介绍如何使用 IMGLIB。1 设置 Include 路径 在 CCS3.3 开发环境中，Build Options-Compiler-Preprocessor 中设置Include Search Path：相对路径：./././C6400/imglib/include 绝对路径：$(
45、Install_dir)/C6400/imglib/include 2 设置 Lib 路径 在 CCS3.3 开发环境中，Build Options-Linker-Libraries 中设置 Search Path：相对路径：./././C6400/imglib/lib 绝对路径：$(Install_dir)/C6400/imglib/lib 3 设置库文件 在 CCS3.3 开发环境中，Build Options-Linker-Libraries 中设置 Include Libraries：img64x.lib 4 包含头文件 找到将要使用的函数所在的 h 文件如 img_median_33
46、.h，在工程的源代码中包含#include img_median_33.h 5 使用函数 此时，便可调用 img_median_33.h中的函数完成相应的图像处理：void IMG_median_3x3(const unsigned char*restrict i_data,/Input image int n,/Length of input unsigned char /Output image 北京工业大学工学硕士学位论文 -36-);（3）运动目标提取 本系统基于 DSP 平台，既需要精确提取出运动区域，又需降低算法复杂度，确保运行的实时性。因此采用背景减法对 DSP 采集后的视频 Y
47、 分量（亮度）进行运动目标提取，同时采用中值滤波，消除小的噪声；膨胀操作，消除目标的不连续空洞；x轴投影法进行阴影去除。图 3-16 显示了背景减法的基本过程。首先，用事先存储或者实时得到背景图像序列为每个象素进行统计建模，得到背景模型),(yxB；其次，将当前每一帧图像),(yxfk和背景),(yxB相减，计算出在阈值T下当前图像中出现的偏离背景模型值较大的那些象素，即公式（3-1）。此法，直接给出了目标的位置、大小和形状等，从而得到了较完整的目标信息。图 3-16 背景减法基本原理图)13(0),(),(1),(1其他如果TyxByxfyxDkkk 式（3-1）中T是阈值，其决定整个检测系
48、统的敏感度。当T取值大则检测结果噪声少，但是同时可能破坏目标的连续性，如T取值小则噪声大。在二值差分图像中，像素值为 1 的点认为该像素为前景点，即认为该像素可能为目标上的一点，像素值为 0 的点则认为是背景像素。运动目标提取的结果如图 3-17 所示。（a）侧姿 （b）正姿 （c）不规则态 图 3-17 hall 序列中运动目标的提取结果),(1yxbk判别 背景图像 连通性分析 二值化),(yxfk),(1yxbk),(yxRk第 3 章 DSP 端的设计与实现 -37-（4）运动目标分割 得到运动目标区域后，采用投影分割法来进行运动目标分割29。此法直接利用前面背景减法得到的),(yxR
49、k二值化图像（前景点 255，背景点 0）进行目标分割提取，算法简单，计算量小，便于 DSP 实时实现。其原理如下：设)(xX为x轴方向投影，)(yY为y轴方向投影，图像大小为NM，则x轴投影公式如（3-2）：)23(0.1),255),(1)(elseMiyxRifxXik 即每列图像上，存在一个或以上的前景点，就把对应的x轴坐标标为 1，代表有运动点，否则标为 0，代表无运动点。然后检测x轴连续标为 1 的线段区间。这里设从1k到2k为一连续区间，则将1k到2k区间的图像按公式（3-3）向y轴方向进行类似投影：)33(0.),255),(1)(21elsekkiyxRifyYik 设在y轴
50、得到的连续区间为3k到4k，从而交叉得到目标区间。x轴上的其它分段同样在y轴方向进行投影，最终得到当前图像的各个目标区域。以图 3-17（b）为例，目标分割结果如图 3-18。图 3-18 运动目标分割结果 图 3-19 人体各部的比例关系（5）特征提取及判决 图 3-19，人体各部分长度的比例关系满足“立七”，即以头部为衡量标准，站立时全身长度为七个半头高44。于是，人体的宽高比（heightwidthTwh）满足一定的比率关系。实验中，若21.0whT则认为可能是人体，进入下一个人体特征（头肩投影比率）的判断；否则判为一定不是人体，程序结束。北京工业大学工学硕士学位论文 -38-人体头肩的