《基于SVAC的视频监控前端设计_张春芳.docx》由会员分享，可在线阅读，更多相关《基于SVAC的视频监控前端设计_张春芳.docx（65页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 分类号： TA； 彳丨 ? 单位代码： 10422 密级： 学 号： 硕士学位论文 Thesis for Master Degree 论文题目： 作者姓名 以 4 丟 培养单位 ii/ i枓 存 為 汔 咏 专业名称 电路与，毛 I 指导教师 土圾队勉妗 合 作 导 师 _ 年 彳 月 政 日 原 创 性 声 明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：
2、 k給 日期： 岬 X 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 (保密论文在解密后应遵守此规定 ） 论 文 作 者 签 名 ： 导 师 签 名 : 期： lyodnX 目录 m . I ABSTRACT . II 第一章齡 . 1 1.1课题研究背景及意义 . 1 1.2视频监控系统现状及发展趋势 . 1 1.3论文主要工作和章节安排 .
3、 3 第二 #賴 &体设计 . 4 2.1视频监控系统结构和功能要求 . 4 2.2视频监控前端技术指标 . 4 2.3视频监控前端结构设计 . 5 2.4系统主要功能模块 . 6 2.4.1视频采集模块 . 6 2.4.2 SVAC编码模块 . 7 2.4.3核心控制模块 . 7 2.4.4 ARM与 FPGA通信方式 . 8 2.4.5无线传输模块 . 9 2.5本章小结 . 10 第三章雜硬件设计 . 11 3.1视频采集模块电路设计 . 11 3.2 SVAC编码模块电路设计 . 14 3.2.1 FPGA配置电路 . 15 3.2.2 FPGA 时钟 . 19 3.2.3夕卜部存储器
4、 . 19 3.3核心控制模块电路设计 . 20 3.3.1 ARM 0寸钟 . 22 3.3.2 ARM 复位 . 25 3.3.3 ARM存储器空间介绍 . 26 3.3.4 ARM启动电路 . 27 3.3.5 ARM 内存 . 30 3.3.6 JTAG 及串口 . 31 3.4 ARM与 FPGA间通信电路设计 . 32 3.5无线传输模块电路设计 . 35 3.6视频存储模块电路设计 . 36 3.7电源模块设计 . 37 3.8本章小结 . 40 第四章系统软件设计 . 41 4,1系统软件设计 . 41 4.2嵌入式系统启动 . 44 4.3读取视频码流模块驱动 . 44 4.
5、4视频采集模块驱动 . 47 4.5本章小结 . 49 第五章麟墟望 . 50 5.1 離 . 50 5.2 醒 . 50 参考文献 . 51 致谢 . 54 . 55 CATALOG Abstract in Chinese . I Abstract in English . II Chapter I Introduction . 1 LI Background . 1 1.2 Present Situation and Development Trend . 1 1.3 Architecture of the Paper . 3 Chapter II Design of the System
6、 . 4 2.1 Architecture and Function . 4 2.2 Specifications . 4 2.3 Hardware Architecture . 5 2.4 Main Functional Block . 6 2.4.1 Video Capture . 6 2A2 SVAC Encoder . 7 2.4.3 Core Control . 7 2.4.4 Communicatin between ARM and FPGA . 8 2.4.5 Wireless Transmission . 9 2.5 Chapter Summary . 10 Chapter I
7、II Circuit Design . 11 3.1 Video Capture Circuit . 11 3.2 SVAC Encoder Circuit . 14 3.2.1 FPGA Configuration Unit . 15 3.2.2 FPGA Clock Unit . 19 3.2.3 External Memory Unit . 19 3.3 Core Control Circuit . 20 3.3.1 ARM Clock Unit . 22 3.3.2 ARM Reset Unit . 25 3.3.3 Introducton of ARM Memory Space .
8、26 3.3.4 ARM Booting Unit . 27 3.3.5 AEIM RAM Unit . 30 3.3.6 JTAG&RS-232 . 31 3.4 Communication Circuit between ARM and FPGA . 32 3.5 Wireless Transmission Circuit . 35 3.6 Video Storage Circuit . 36 3.7 Power Circuit . 37 3.8 Chapter Summary . 40 Chapter IV Software Design . 41 4.1 Software Design
9、 . 41 4.2 Booting of Embeded Operating System . 44 4.3 Driver of Video Stream Capture . 44 4.4 Driver of Image Sensor . 47 4.5 Chapter Summary . 49 Chapter V Summary and Future Work . 50 5.1 Summary . 50 5.2 Future Work . 50 References . 51 Acknowledgements . 54 Academic Achievement During Master Pe
10、riod . 55 摘要 随着嵌入式技术、多媒体技术、通信技术的不断进步，传统的视频监控也逐 渐向高清化、网络化、智能化发展。监控系统在政府、交通、银行等特殊行业的 覆盖率已经相当可观，在个人和公共领域仍有较大市场。目前，视频监控产品主 要采用 MPEG4和 H.264标准，因国外专利限制，我国安防行业难以自主化发展。 推广使用我国具有自主知识产权的 SVAC国家标准具有重要意义。 本文设计了基于 SVAC标准的无线视频监控前端。视频监控系统包括视频监 控前端、手机客户端和 PC客户端。客户端通过互联网与视频监控前端通信。视 频监控前端实现高清视频采集，视频信号 SVAC编码，用户认证，网络连
11、接以及 与客户端进行视频码流的传输。 论文通过对比分析目前无线视频监控系统设计方案，确定了本文系统 ARM+FPFGA架构，划分了系统功能模块，并确定了视频采集模块、视频编码 模块、核心控制模块、无线传输模块的具体实现方案。采用 CMOS图像传 感器 进行视频采集，采用 FPGA进行 SVAC视频编码器的设计与验证，使用 USB无 线网卡接入互联网，核心控制模块选用 ARM实现， ARM中易实现操作系统和 网络协议栈，使用 ARM实现视频数据网络传输功耗低、开发简单。 论文介绍了视频监控前端软件设计，研宄了基于 SIP协议和 RTP/RTCP协议 的核心控制模块软件设计，并详细介绍了视频采集模
12、块、视频码流读取模块驱动 的设计。 关键字： SVAC， ARM， FPGA,视频监控，无线传输 ABSTRACT With the progress in embeded tecnology, multimedia tecnology and communication tecnology, video surveilance system has been developing in the direction of high-definetion, network and intellegent. Monitoring system has covered most area of sp
13、ecial industries such as government, transportation, banks, etc. Products used in monitoring system mostly are based on MPEG4 standard and H.264 standard so far. Due to restrictions of foreign patents, it is difficult to develop independently in security industry. Its important to promote the use of
14、 SVAC protocal， which china has total independent intelectual property This paper introduces the design of monitoring front-end in wireless video surveilence system based on SVAC standard. The system is composed of monitoring front-end, moble client and PC client. A client communicates with the fron
15、t-end through internet. The front-end acomplishes the capture of original video, video encoding based on SVAC standard, user authentation, and transmission of video stream. Through analying the implementation of wireless monitoring system, this paper sets the FPGA+ARM architecture for the system and
16、 devides the modules based on function. This paper introduces the implementation of each module, including video capture module, video encoding module, the core control module and wireless transmission module. This paper uses CMOS image sensor for video capture, uses FPGA to verify the design of SVA
17、C video encoder, uses wireless network card with USB interface to access to the internet, used ARM to control the system. It is easy to achieve operating system and network protocal stack in ARM. Besides, system based on ARM consumes less power and is easy for development. This paper introduces the
18、software design of the front-end of video surveilance system. The core controller is based on SIP protocol and RTP/TRCP protocol. This paper shows details of driver of video capture module and video stream reading module. Keywords: SVAC, ARM, FPGA, video surveilance, wireless transmission 第一章绪论 1.1课
19、题研宄背景及意义 随着人们经济条件的改善，安全防范意识不断提高，视频监控系统以其直观 的特点受到人们的青睐，成为安防领域的重要组成部分，在保障人们人身财物安 全方面起到了不可估量的作用。 调查显示，随着各地域智慧城市、平安城市等计划的推进，我国视频监控市 场保持平稳的增长态势， 2015年视频监控市场规模达到 740亿元，预计 2018年 市场规模可达 1114亿元 W。 目前视频监控己基本覆盖了政府、公安、交通、银 行等特殊行业大型企业，在公共领域和个人市场覆盖率仍然较低 M， 我国民用安 防市场只占了市场份额的 6%,随着人们生活水平的提高，对人身安全、财物安 全提出了更高的要求，将来家庭
20、、商铺、小型企业将成为安防市场用户的中间力 量 1。 近来，民用视频监控系统数量迅速增长，视频数据量增长迅速，这对视频采 集、视频编码、网络传输、视频存储、图像处理等提出了更高的技术要求，研究 具有更高编码效率和高可靠性的视频编码标准和视频监控系统具有重要意义。 1.2视频监控系统现状及发展趋势 视频监控系统的发展主要经历了三个阶段 3。第一代模拟视频监控系统利用 同轴电缆将前端摄像机输出的模拟视频信号输送到模拟监视器进行显示，由磁带 录像机进行模拟视频信号的存储。这种监控系统图像质量差，规模小，扩展难度 大，不能进行视频远程传输 4。随着数字技术、芯片技术、网络技术、视频编码 等技术的不断发
21、展，模拟视频监控系统被逐渐淘汰，进入了半数字化视频监控系 统时代，半数字化视频监控系统使用嵌入式数字录像机将摄像头输出的模拟视频 信号数字化后保存起来，现阶段全数字化视频监控系统已成为主流。全数字化视 频监控系统中摄像机输出数字化的视频信号， 视频信号网络传输到监控中心。这 种系统及扩展，部署方便，使用灵活，只要有网络的地方即可实现视频监控。 在早期安装的视频监控系统中，常因为视频分辨率低，图像清晰度差导致 监控效果不够好。随着 3G、 4G公众移动通信网技术和 WLAN技术的成熟与推 广，无线网络的通信带宽越来越高，覆盖范围越来越广，成本越来越低加之视频 编码技术编码效率不断增加，使得视频监
22、控系统高清化发展趋势成为可能。 随着计算机视觉和模式识别技术的发展，视频监控系统逐渐向智能化发展， 传统视频监控中事后查询的工作机制将得到改善，智能视频监控系统能全天候自 动分析监控视频，实现事中分析与预警，降低安保人员的负担。 目 前 应 用 最 广 泛 的 音 视 频 编 解 码 标 准 包 括 由 ITU-T ( International Telecommunication Union - Telecommunication Standardization Sector 国际电 言联 盟远程通信标准化组织）制定的主要应用于实时视频通信领域的 H.26x标准和 ISO/IEC (Inte
23、rnational Organization for Standardization/Intemational Electro technical Commission国际标准化组织 /国际电工技术委员会 )制定的应用于视频 存储、广播电视、网络流媒体的 MPEG系列标准。这两个系列的音视频编码标 准在相关产业长期处于垄断地位。 自 2002年以来，我国开始着手制定具有自主知识产权的音视频编解码标准， 标委会先后通过了 AVS(Audio Video coding Standard， 信源编码标准 )和 SVAC (Surveillance Video and Audio Coding,安全防
24、范监控数字视音频编解码技术标 准 ） 5国家标准。其中 AVS标准编码性能己基本上接近 H.264的指标 6,7。 SVAC标准借鉴了现有的各视频编码标准中的先进压缩技术，取长补短，降 低编码难度，提高压缩效率，在注重编码效率的同时还注重了编码的可靠性。其 加密认证、视频信息嵌入、感兴趣区域编码和可伸缩视频解码等技术 8,9相对于 其他编码标准具有无可替代的优势。 国家大力支持 SVAC标准的推行，山西省、广东省作为 SVAC标准先行示范 省，规定自 2014年 10月以后由政府出资建立的视频 监控系统都使用符合 SVAC 国家标准的设备和产品 1(。保定、郴州、兰州等部分城市的平安城市项目均
25、采 用 SVAC标准的监控设备。 SVAC标准推行之初，许多企业持观望态度，在国家政策大力支持下，近两 年来许多企业也开始对相关技术进行研宄，中星电子股份有限公司、山西中天信 科技股份有限公司、浙江大华科技有限公司、杭州海康威视数字技术股份有限公 司等企业推出的各种采用 SVAC标准的产品陆续通过认证。 研宄基于 SVAC标准的视音频频编解码芯片和监控系统有利于推动国家标准 的普及和利用，减少国外相关标准的各种专利制约，有利于推动我国安防行业和 监控市场自主化发展。 1.3论文主要工作和章节安排 论文分析比较了目前无线网络视频监控系统设计方案，结合目前 SVAC编码 标准产品的发展现状，提出了
26、基于 ARM+FPGA架构，综合利用视频采集模块、 网络传输模块的基于 SVAC标准的视频监控前端的硬件设计方案。对系统功能进 行模块划分，对可实现各模块功能的方案进行了对比，完成了芯片的选型，硬件 电路原理图设计，并对核心控制模块软件进行了 设计。 本文共分为五章，具体结构及内容安排如下： 第一章绪论。介绍课题研究背景和视频监控系统发展趋势，描述本文的主 要工作和论文结构安排。 第二章视频监控前端总体设计。分析了系统功能和技术指标，对系统的功 能进行划分，并根据功能框图确定了系统 ARM+FPGA的架构，根据系统指标， 对各功能模块的实现方式进行研宄分析对比，最终确定了合理的实现方案。 第三
27、章视频监控系统硬件设计。详细介绍了基于 SVAC标准的视频监控前 端硬件电路设计；完成了 ARM最小系统、 FPGA最小系统、 ARM与 FPGA通 信模块、视频采集模块、无线传输模块、视频存储模块器件选型及电路设计。 第四章视频监控系统软件设计。介绍了视频监控前端核心控制模块软件设 计，并就系统中摄像头模块的驱动、 ARM与 FPGA数据传输模块驱动程序的实 现进行了详细说明。 第五章总结及展望。对论文的工作进行了总结，并就下一步需要开展的工 作进行了展望。 第二章系统总体设计 2.1视频监控系统结构和功能要求 基于 SVAC的视频监控系统旨在使家庭用户或办公区域用户能够利用手机 或 PC客
28、户端通过互联网实时查看监控 区域的监控视频。视频监控系统总体结构 框图如图 2-1所示。该系统包括视频监控前端、手机客户端和 PC客户端。手机 客户端和 PC客户端通过互联网与视频监控前端连接，建立连接后，客户端向监 控前端发送视频请求，接收视频数据，进行 SVAC视频解码并播放监控视频。视 频监控前端实现高清视频采集，对视频信号进行 SVAC编码，用户认证，连接到 互联网以及根据客户端请求进行视频码流的网络传输。本论文主要阐述视频监控 前端的硬件设计和核心控制模块的软件设计。 图 2-1基于 SVAC的视频监控系统框图 2.2视频监控觸穌指标 根据 2.1节中对视频监控系统结构和功能要求的分
29、析，对视频监控前端技术 指标进行了如表 2-1所示的规划。对监控视频采用 SVAC标准进行编码，监控视 频图像分辨率最高可达 1920*1080 (1080p),最高帧率为 30帧每秒，视频采样 格式为 YUV420。 客户端与视频监控前端通过使用会话初始协议 （ SIP协议）建 立会话，使用实时流媒体传输协议 （ RTP/RTCP)进行视频数据的传输。视频监 控前端使用 USB无线网卡连接到网络，须支持 USB HOST 2.0接口。视频采集 模块通过数字视频接口 （ DVP接口）将图像 数据并行传输到视频编码模块。为 了编码模块和核心控制模块能够对视频进行实时编码和传输，视频监控前端使用
30、DDR2 SDRAM存储器来暂存图像及视频码流，使用 Flash存放程序。 RS-232和 JTAG接口为监控前端调试和程序烧写接口，为方便调试，监控前端还预留了按 键、 LED和测试接口。 表 2-1视频监控前端设计指标 视频编码标准 SVAC 视频图像尺寸 1920*108030fps 视频采样格式 YUV420 视频码率 12Mbps， 可调整 支持的通信协议 SIP/RTP/RTCP/UDP/IP 输入 /输出接口 DVP/USB HOST 2.0/串口 外部存储器 DDR2/ flash 其他 按键 /LED/RS-232/JTAG/测试接 口 2.3视频监控觸结构设计 常见的监控系
31、统主要有以下三种实现方案 11，视频采集芯片 +DSP、 视频采 集芯片 +DSP+ARM、 视频采集芯片 +ARM。 其中视频采集芯片 +DSP的方案运算 速度快，处理图像能力强，但是不能实现操作系统和网络协议栈，系统扩展能力 差，不适合网络传输。视频采集芯片 +DSP+ARM的传输方案运算速度快，图像 处理能力强，能够实现操作系统和网络传输，但其 DSP+ARM的结构设计、调 试、开发难度大，系统成本升高。视频采集芯片 +ARM的结构可以实现完整的操 作系统、网络协议栈和文件系统，且 ARM芯片功耗低，开发容易。这种方案釆 用软件实现视频编码，运算能力差，在实时性要求高的应用场合很难达到要
32、求。 但随着半导体工艺的提升，不少 ARM芯片厂商己经在其产品中加入硬件编解码 器，能够实现 MPEG-4/H.263 /H.264标准的编码和解码，提髙了图像处理能力。 这种视频采集芯片 +ARM结构的监控系统方案有很大的提升空间和良好的应用 前景。 视频监控前端主要包括电源模块、视频采集模块、 SVAC编码模块、核心控 制模块、无线传输模块和视频存储模块。其中 SVAC编码模块 和核心控制模块是 系统设计的关键。使用 ARM实现核心控制模块，能够实现操作系统和网络协议 找，简化了系统设计。 FPGA( Field-programming gate array)， 即现场可编程逻辑 阵列，是
33、一种半定制的专用集成电路，用户通过使用硬件描述语言 （ VerilogHDL 图 2-2视频监控前端结构框图 2.4系统主要功能微 2.4.1视频采 视频采集模块输出监控视频图像分辨率最高可达 1920*1080 (1080p)， 最高 喊率为 30帧每秒，视频采样格式为 YUV420,使用图像传感器实现。 图像传感器主要有 CCD 和 CMOS 两类 13 14。 CCD (Charged Coupled Device 电稱合器件）图像传感器集成在半导体单晶材料上， CMOS(Complementary Metal Oxide Semiconductor互补金属氧化物）图像传感器集成在金属氧
34、化物半导体材料 上。由于器件结构和制作工艺的不同，两者在性能方面有较大差别。 CCD图像 传感器清晰度高，噪声低，灵敏度高，动态范围广，一直处于主导地位 。 CMOS 图像传感器由于清晰度低、噪 声高、灵敏度低、分辨率低的问题一直没有得到广 泛应用。随着半导体工艺的改进以及多年来针对克服 CMOS图像传感器问题的 或 VHDL)进行设计，改变 FPGA内部的逻辑互联结构 12，艮 P可实现用户目标。 FPGA集成度高、灵活性大、编程次数不受限制，使用 FPGA实现 SVAC编码器 的设计风险小、设计周期短、开发费用低，是最佳选择。本文设计的视频监控前 端采用 ARM+FPGA的结构，其中 SVAC编码模块使用 FPGA实现，核心控制模 块使用 ARM实现。两者分工明确，调试及开发过程相对独立。 视频监控前端结构框图如图 2-2所示。视频采集模块输出监控视频图像分辨 率最高可达 1920*1080 ( 1080p)， 最高帧率为 30帧每秒，视频采样格式为 YUV420。 SVAC编码模块对原始视频码流进行符合 SVAC标准的视频编码。核 心控制模块利用无线传输模块连接到互联网，根据手机或 PC客户端的请求，将 编码后的视频数据发送给手机或 PC客户端，并可以将视频保存在本地。 技术研究与突破， CMOS图像传感器的质量得到极大的提升，与 CCD图像质量 愈