《一款支持高品质CCD图像传感器的高性能SoC芯片的设计.pdf》由会员分享，可在线阅读，更多相关《一款支持高品质CCD图像传感器的高性能SoC芯片的设计.pdf（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第3 2卷第1期20 0 6年1月光学技术O P T I C A LT E C H N I Q U EV o l.3 2N o.1=J a n.2 0 0 6文章编号：1 0 0 2-1 5 8 2（2 0 0 6）0 1-0 0 2 0-0 4一款支持高品质C C D图像传感器的高性能S o C芯片的设计梅张雄1，钟秋海，张志敏2（1.北京理工大学 信息科技学院，北京1 0 0 0 8 1；2.中国科学院计算技术研究所系统结构室，北京1 0 0 0 8 0）摘要：介绍了支持C C D图像传感器的高性能S o C芯片的设计，芯片基本结构，与图像处理相关的功能部件的工作原理以及相关算法的硬件实现
2、方法，以及相关的低功耗策略。在设计验证阶段，该设计采用基于平台的软硬件协同应验的方法，使得软件和硬件同时得到验证并缩短了整机系统的设计和联调周期，验证的结果表明其设计是基本正确的。这种设计验证方法对于其他领域的应用也具有重要的借鉴意义。关键词：C C D；S o C；片上通信结构；图像处理中图分类号：T P 2 1 2.1 4文献标识码：AD e s i g no fh i g hp e r f o r L a n c eS o Cs u p p o r t i n gC C Di L a g e s e n s o rM E l Z h a n g-x i o n g1，Z H O N GQ
3、 i u-h a i，Z H A N GZ h i-m i n2（1.S c h o o l o f I n f o r m a t i o nS c i e n c eT e c h n o l o g y，B e i j i n g I n s t i t u t e o fT e c h n o l o g y，B e i j i n g 1 0 0 0 8 1，C h i n a）（2.C o m p u t e rA r c h i t e c t u r eL a b.，I n s t i t u t e o fC o m p u t i n gT e c h.，C h i n e
4、 s eA c a d e m yo f S c i e n c e s，B e i j i n g 1 0 0 0 8 0，C h i n a）A b s t r a c t：D e s i g n o f h i g hp e r f o r m a n c e S o Cs u p p o r t i n gC C D i m a g e s e n s o r，a n d t h e b a s i c c h i p a r c h i t e c t u r e，t h e p r i n c i p l e o f i m a g ep r o c e s s i n g c o
5、 m p o n e n t s a n d t h e i m p l e m e n t a t i o n o f t h e r e l a t e d a l g o r i t h m s，a n d i t s l o wp o w e r p o l i c yw e r e p r e s e n t e d.T h e p l a t f o r mb a s e ds o f t w a r e-h a r d w a r e c o-v e r i f i c a t i o nm e t h o d o l o g yw a s a p p l i e dd u r
6、i n g t h ed e s i g nv e r i f i c a t i o ns t a g e.T h i sm e t h o d o l o g ym a d e s o f t w a r ea n dh a r d w a r e d e b u g g e d s i m u l t a n e o u s l y a n d s h o r t e n e d t h ew h o l e s y s t e md e s i g n a n d d e b u g g i n g c y c l e.T h e v e r i f i c a t i o n r e
7、 s u l t s d e m o n s t r a t e t h ed e s i g ns c o r r e c t n e s s.T h i s d e s i g n a n d v e r i f i c a t i o nm e t h o d o l o g yw i l l b e n e f i t t h e a p p l i c a t i o n s i n o t h e r f i e l d.K e yw o r d s：C C D；S o C；o nc h i p c o m m u n i c a t i o na r c h i t e c t
8、u r e；i m a g e p r o c e s s i n g1引言众所周知，系统芯片（S o C-S y s t e mo naC h i p）作为微电子芯片发展的必然趋势，在未来的集成电路设计业中将具有举足轻重的地位1。近年来数码相机的市场迅速膨胀2。低功耗、多功能、高质量的需求要求人们不断地提出短小轻薄的产品解决方案。适应这种发展潮流，研究人员不断研制整合C P U芯核、图像处理器、J P E G压缩 解压缩、C C D（电荷藕合器件）时序发生器，以及各种外设功能部件的单芯片的设计。本文从系统设计的角度出发，介绍了基于M I P SC P U芯核的数码相机S o C芯片的设计方法
9、，典型算法的硬件实现，以及芯片的设计验证。2基本结构及数据流支持C C D的S o C芯片结构及其信号流图如图1和图2所示。该系统主要由C C D信号实时处理单元、J P E G编 解码器、3 2位M I P SC P U、S D R AM控制器以及各种外设接口组成。图1数码相机S o C芯片结构在本文讨论的S o C芯片设计中，采用二级层次式结构实现片上功能I P（I n t e l l e c t u a lP r o p e r t y）之间的互联，在DMA和L C D接口模块之间采用了一条02收稿日期：2 0 0 4-1 2-1 4；收到修改稿日期：2 0 0 5-0 1-1 1E-L
10、 a i l：m e i z x i c t.a c.c n基金项目：8 6 3高技术研究项目2 0 0 2 A A 1 Z 1 0 4 0）作者简介：梅张雄（1 9 7 2-），男，北京理工大学博士研究生，从事S o C软硬件协同设计验证，片上系统性能评价研究。图2数码相机芯片的信号处理流程专用的通信通道，以避免大量的图像数据传输造成性能瓶颈。高性能一级总线支持地址与数据线分离、读写数据线分离、二级地址流水、读写操作重叠。仲裁器1按照固定优先级的策略完成多个总线主部件（M a s t e r）同时竞争总线时的仲裁。二级总线地址与数据线分离，实现一种独占式访问的共享数据通道。仲裁器2按照固定优
11、先级的策略完成二级总线上多个总线主部件同时竞争总线时的仲裁。桥接器实现不同总线上功能部件相互之间的通信通道。本文采用的层次性总线结构，把图像处理部分的功能部件以及C P U等对总线带宽需求较大的部分分配在一级总线，把部分外设部件分配在二级总线，这样可以避免因频繁存取图像数据的图像处理部件与慢速的外设竞争总线资源，这样处理不仅能解决总线拥塞问题，而且保证了高速、高分辨率图像处理对总线带宽的需求。挂接在不同总线上的各功能I P需要针对相应的总线协议加入总线包装器（B u sW r a p-p e r），图中为了描述方便而省略。3功能模块设计这一部分详细介绍S o C主要功能部件的设计实现，重点介绍
12、图像处理通道的设计。3.1 C C D信号处理单元C C D和C MO S是目前最常被使用的图像传感器，前者比后者昂贵，而且发明时间比较早。尽管C MO S传感器问世已久，但目前多数相机的成像器仍然使用C C D，本设计支持C C D图像传感器。C C D是一组可以进行“光电转换”的光电体，当光线通过镜头聚焦形成图像后，C C D便会将图像的光信号转换为电信号（电压）3。C C D处理单元包括图像预处理、校正、色彩空间变换等功能。图像预处理包括黑电平调整、镜头非线性补偿、有缺陷像素单元的插值以及白平衡。一旦黑电平已知，那么黑电平调整就是从每个像素值中减去一个常数；镜头补偿采用查找表实现。缺陷像
13、素单元插值4是图像品质最佳化的关键性算法。图像传感器芯片在通过色彩滤光器之后，检测到色彩图像的最普通方法是把色彩滤光器集成到图像传感器中，针对每个像素区域选定单一的过滤色彩，这样彩色图像就能够从马赛克色彩图像中重建回来。色彩过滤阵列（C o l o rF i l t e rA r r a y）允许传感器仅测量每个位置上的单一原色。因为需要将每个位置上的三原色组合还原，所以必须将C F A单色图像转换成全色图像。白平衡5就是针对在不同色温条件下，通过调整数码相机内部的色彩电路使拍摄端的图像抵消偏色，更接近于人眼的视觉习惯。自动白平衡的基本算法是灰度假定算法（G r a yW o r l dA s
14、 s u m p t i o n）。该算法中R G B通道持续调整，以便使捕获图像中的R、G、B成分相等。这种算法在拍摄场景包含大量不同颜色时能够粗略估计通道增益，但是当某一两种颜色占绝对多数时将行不通。白平衡算法数量众多，实现起来十分灵活，在此不作展开论述。校正可以对显示设备的非线性亮度效果进行补偿。除非输出设备已知，否则通常都使用一个标准的值。校正利用查找表来实现。为了加速处理，色彩空间通常需要加以变换，许多视频和图像标准使用亮度和色差的色彩空间，比如Y C r C b或L U V。为了支持实时图像处理，有必要在源和目的格式之间进行高性能变换，可能的变换如下：R G B-Y C r C b
15、和R G B-L U V；由于J P E G编解码模块使用Y C r C b颜色模型，因为人眼对图片上的亮度Y的变化远比色度C的变化敏感，我们完全可以每个点保存一个8 b i t的亮度值，每2*2个点保存一个C r C b值，而图像在肉眼中的感觉不会起太大的变化，所以原来R G B模型4*4个点需要4*3 E1 2个字节，而现在仅需要4+2E6字节，平均每个点占1 2 b i t，鉴于这种原因我们仅介绍R G B-Y C r C b的变换：R G B-Y C r C b 转换（R，G，B都是8 b i t无符号数）：YE 0.2 9 9R+0.5 8 7G+0.1 1 4BC bE-0.1 6
16、 8 7R-0.3 3 1 3G+0.5B+1 2 8C rE 0.5R-0.4 1 8 7G-0.0 8 1 3B+1 2 8Y C r C b-R G B 转换：REY+1.4 0 2（C r-1 2 8）GEY-0.3 4 4 1 4（C b-1 2 8）-0.7 1 4 1 4（C r-1 2 8）BEY+1.7 7 2（C b-1 2 8）3.2 J P E G编 解码系统612第1期梅张雄，等：一款支持高品质C C D图像传感器的高性能S o C芯片的设计图3 J P E G编码系统方块图经过色彩空间变换以 后，R G B模型转换成Y C b C r模型，接 下 来就是像素取样，常
17、见的方法有4：4：4、4：2：2、4：2：0等几种取样方法。由于J P E G图像编解码是利用区块编码（B l o c kC o d i n g）的概念完成的，因此，经过取样以后，将图像切割成一个个8*8像素大小的区块。然后就是整个J P E G编码的流程，如图3所示。首先将每个8*8的区块作二维离散余弦变换（2-DD i s c r e t eC o s i n eT r a n s f o r m），将像素值转换成频率域的值。由于人的视觉对于低频信号敏感程度远高于高频信号。因此，通过离散余弦变换之后的量化（Q u a t i z a-t i o n）电路将高频值大幅度量化为零，尽量只保留低
18、频值，目的是为了在不牺牲图像品质的情况下，通过数据中大量的零值达到数据压缩的目的。经过量化以后，J P E G将通过差分编码（D i f f e r e n t i a l P u l s eC o d eM o d u l a t i o n）的方法得到D C值；而A C值部分则先利用Z i g-Z a g扫描方法，依次将A C值扫描完毕，并利用变长编码（R u n-L e n g t hC o d i n g）依次编码。最后再进行霍夫曼编码（H u f f m a nC o d i n g）。图4 J P E G解码系统方块图J P E G解码系统与编码系统类似，只 是 整个解码流程刚好是
19、编码流程的颠倒。先作完变长解码（V a r i a b l eL e n g t hD e c o d i n g），再经过反向量化（I Q）以及反离散余弦变换（I D C T），最后再作Y C b C r-R G B的色彩空间坐标变换即可将图像重建，如图4所示。3.3 M I P SC P UM I P SC P U是本设计中的核心电路，在C P U体系结构设计方面采用了许多先进微处理器的设计与实现技术，可以运行3 2位M I P S指令，定点字长3 2位，浮点字长6 4位，并配有8 K字节的指令C a c h e和8 K字节的数据C a c h e，支持寄存器换名、动态调度和乱序执行，能在
20、2 6 6 MH z主频下工作。在数码相机S o C系统中，M I P SC P U能够处理和编辑图像、实现相机控制、产生图像文件并对各种软件控制。3.4低功耗设计7为了省电，必须重视低功耗设计，但是功耗与面积和性能是矛盾的统一。功耗的降低是有限度的，首先要限定在性能的约束范围内，一味降低功耗必然会导致性能的降低。一般而言在晶体管级C MO S电路的功耗，可分为两部分。一部分是由漏电流和其它静态电流导致的静态功耗；另一部分是电路在变化过程中，由短路电流和对负载电容充放电引起的动态功耗。功耗源有三类：跳变功耗、短路功耗、泄漏功耗。低功耗设计是一项从顶层到底层各个设计阶段都要进行的工作，需要在工艺
21、级、电路级、逻辑门级、R T L级、体系结构级、算法级分别考虑不同的低功耗策略。一般而言，由电路平均功耗的公式：Pa v gE（iCiV2D Dfc k）；其中iCi为有效节点电容；VD D为供电电压；fc k为电路的工作频率。可知，降低电源供电电压，可以减少功耗。设计中M I P SC P U核心部分电压采用1.8 V供电，其它外围功能部件采用3.3 V供电正是这种思想。但降低供电电压会面临一些问题，首先，降低电源电压，如果阈值电压不变，那么噪声容限会减小，抗干扰能力减弱，信号传送准确性就会降低；其次延迟会增长，导致系统性能下降。因此用降低电压的方法来降低功耗，必须用其它方法来补偿相应的延迟
22、损失。一个方法是通过开发系统的并行性和流水线来达到目的，虽然这样会引入一些额外的控制电路来增加功耗，但即使这样，理论上也可以减少1 0倍以上的功耗；另一种方法，由于用户对电路性能的要求是变化的，因此可以通过软件来动态控制时钟频率和电源电压，达到既保证性能要求，又节约功耗的目的。4试验4.1试验方法数码相机是一个复杂的系统，通常由几个子系统组成，并且要求彼此之间能够良好地协调工作以达到最佳性能，这样系统单芯片的设计验证工作就变得复杂起来。为了降低设计风险、减少开发时间和代价，将验证分两个阶段：芯片流片前功能验证、芯片成品功能验证，并且采用基于平台的软硬件协同验证的方法在芯片设计验证的不同阶段来验
23、证芯片功能的正确性。硬件平台包含两个部分：S o C芯片子系统、主板子系统。软件平台采用简化的L i n u x操作系统。如图5所示。其中主板子系统包括：S D R AM、F l a s hR o m、T F T液晶面板等主要的外围部件。S o C芯片子系统根据验证的不同阶段可以分为两种：F P G A原型子系统、A S I C子系统。其中F P G A原型子系统用于设计前期功能验证阶段，A S I C子系统用于芯片 成 品 功 能 验 证 阶 段。F P G A采 用X i l i n xX C 2 V 6 0 0 0，片内一级总线工作在4 8 MH z，二级总线22光学技术第3 2卷图5
24、S o C芯片验证硬件系统示意图（左）与软件系统结构图（右）工作在2 4 MH z，C P U芯核工作在4 8 MH z。芯片成品中，片内一级总线峰值工作频率1 3 3 MH z，二级总线峰值工作频率6 6 MH z，M I P SC P U峰值工作频率2 6 6 MH z。在设计验证前期，在F P G A原型子系统中验证芯片功能的正确性，通过软硬件联调，使得系统硬件和软件同时得到验证。在芯片流片成功以后，通过使用芯片成品设计与F P G A原型子系统接口兼容的A S I C子系统，使用前期验证阶段得到验证的主板子系统和软件平台，使芯片成品得到验证。这种验证方法的直接好处是缩短硬件开发与软件开
25、发的周期，通过软硬件验证的并行执行使得软件开发在芯片设计阶段就可以开始。在上述软硬件平台上，软件和硬件的功能联调得以实现，具体而言，主要验证下述几个方面：1）白平衡，2）图像预览，3）曝光控制，4）照片回放，5）摄像速度，6）耗电测试，7）外设功能。4.2试验结果该简易相机的主要特征参数如表1。表1 D S C的主要特征图像传感器C C D（12.7英寸2百万像素）图像分辨率1 6 0 0*1 2 0 0像素压缩格式J P E G图像存储介质C F-I和C F-I I（6 4 M B）白平衡预设模式：日光，多云，荧光灯，手动处理时间1 s（编码），0.9 s（回放）静态连拍3-5个图像 sL
26、C D显示器T F T（1.5英寸6 0 0 0 0像素）电源供应2个碱性电池（或两个镍氢电池）表2的数字表示室温和闪光灯使用率5 0%的条件下进行连续拍摄的数量，这些数字会因为环境温度和电池电量而有所不同。表2使用电池时可拍摄次数（条件：室温、闪光灯使用率5 0%）电池类型L C D显示器打开L C D显示器关闭碱性电池约1 5 0幅约2 2 0幅镍氢电池约2 3 0幅约3 0 0幅为了显示相机的拍摄效果，给出该相机荧光白平衡测试下的一幅照片（图6），照片的效果说明采用F P G A原型设计的相机工作基本正确。5结论图6照片基于M I P SC P U的数码相机S o C单芯片的设计是一个复
27、杂的系统工程，涉及片上通信结构、色彩学、实时信号处理、图像处理、外设接口、低功耗设计等多个学科领域，本文从系统设计的角度出发概略阐述了一款支持C C D图像传感器的S o C设计方法以及关键部分的硬件实现，在设计验证阶段，本文采用了基于平台的软硬件协同验证的方法，结果论证了设计方法的正确性。以上的S o C设计和验证方法对于其他领域的应用也具有一定的借鉴意义。参考文献：1Q iH，Y uL，L iWT.I Pb a s e dS o Cd e s i g nm e t h o d o l o g yC.P r o co fW o r l dC o m p u t e rC o n f，2 0
28、0 0.2T a m a y a m aH，I t oK，N i s h i m u r aT.T e c h n o l o g y t r e n d s o f h i g h-d e f-i n i t i o nd i g i t a ls t i l lc a m e r as y s t e m sC.V L S IC i r c u i t sD i g e s to fT e c h n i c a l P a p e r s，2 0 0 2.S y m p o s i u m，2 0 0 2.1 0 01 0 5.3G o t t a r d iM，Y a n gW.AC
29、C DC MO S i m a g e s e n s o r a r r a yw i t h i n-t e g r a t e dADc o n v e r s i o nC.C i r c u i t s a n dS y s t e m s，1 9 9 7.I S C A S9 7，P r o c e e d i n g s o f 1 9 9 7 I E E EI n t e r n a t i o n a l S y m p o s i u m，1 9 9 7，3：1 9 0 81 9 1 1.4R a m a n a nD，B a r n e rKE.N o n l i n e
30、 a r i m a g e i n t e r p o l a t i o nt h r o u g he x t e n d e dp e r m u t a t i o nf i l t e r sC.I m a g eP r o c e s s i n g，2 0 0 0.P r o-c e e d i n g s.2 0 0 0I n t e r n a t i o n a l C o n f e r e n c e，2 0 0 0，1：9 1 29 1 5.5L a mHK.A uOC，W o n gCW.A u t o m a t i cw h i t eb a l a n c
31、i n gu s i n gl u m i n a n c ec o m p o n e n ta n ds t a n d a r dd e v i a t i o no fR G Bc o m p o n e n t s（i m a g ep r e p r o c e s s i n g）C.A c o u s t i c s，S p e e c h，a n dS i g n a lP r o-c e s s i n g，2 0 0 4.P r o c e e d i n g s.（I C A S S P0 4）.I E E EI n t e r n a t i o n a lC o n
32、 f e r e n c e，2 0 0 4，3：i i i-4 9 3-6.6M o n n e sP，F u r h tB.P a r a l l e l J P E Ga l g o r i t h m s f o r s t i l l i m a g e c o m-p r e s s i o nC.S o u t h e a s t c o n9 4.C r e a t i v eT e c h n o l o g yT r a n s f e r-AG l o b a l A f f a i r，P r o c e e d i n g s o f t h e 1 9 9 4 I E E E，1 9 9 4.3 7 53 7 9.7K a u s h i kR，S h a r a t P.L o wp o w e r C MO SV L S I c i r c u i t d e s i g nM.N e wY o r k：AW i l e y I n t e r s c i e n c eP u b l i c a t i o n，2 0 0 0.32第1期梅张雄，等：一款支持高品质C C D图像传感器的高性能S o C芯片的设计