多媒体通信技术第2章多媒体信息编码课件.ppt

《多媒体通信技术第2章多媒体信息编码课件.ppt》由会员分享，可在线阅读，更多相关《多媒体通信技术第2章多媒体信息编码课件.ppt（75页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第2章 多媒体信息编码 2.1 引言 2.2 基本编码方法 2.3 图像编码标准 2.4 语音编码标准 2.1 引 言 表2.1 连续媒体数据类型特征举例 媒 体 类 型 数 据 速 率 说 明 语音质量音频CD 质量音频MPEG-2 编码视频NTSC 质量视HDTV 质量视频64kb/s 1.4Mb/s 3.36Mb/s 216Mb/s 648Mb/s1个信道,8kHz 条样速率,8位量化2个信道,44.1kHz 条样速率,16位量化640*480像素/帧,24位/像素,30帧/秒640*480像素/帧,24位/像素,30帧/秒1280*720像素/帧,24位/像素,30帧/秒数 据 压 缩

2、 处 理 一 般 由 两 个 过 程 组 成:一 是 编 码 过 程,即 对 原始 数 据 进 行 编 码 压 缩,以 便 存 储 和 传 输;二 是 解 码 过 程,即 对 压缩 的 数 据 进 行 解 压,恢 复 成 可 用 的 数 据。根 据 解 压 后 数 据 的 保 真度,数 据 压 缩 技 术 可 分 为 无 损 压 缩 编 码 和 有 损 压 缩 编 码 两 大 类。无 损 压 缩 编 码 是 指 解 码 后 的 数 据 与 原 始 数 据 完 全 相 同,无 任何 偏 差。这 种 编 码 通 常 基 于 信 息 熵 原 理,常 用 的 编 码 有 哈 夫 曼 编码、算 术 编

3、码、行 程 编 码 等。它 的 压 缩 能 力 与 所 处 理 数 据 的 类型 有 关,压 缩 比 通 常 比 较 低,一 般 在2151。主 要 用 于 要 求 数据无损压缩存储和传输的场合,如传真机、文本文件传输等。有 损 压 缩 编 码 是 指 解 码 后 的 数 据 与 原 始 数 据 相 比 有 一 定 的偏 差,但 仍 可 保 持 一 定 的 视 听 质 量 和 效 果。它 主 要 利 用 人 的 视、听 觉 特 性,在 保 持 一 定 保 真 度 下 对 数 据 进 行 压 缩,其 压 缩 比 可达1001。压 缩 比 愈 高,其 解 压 缩 后 的 视、音 频 质 量 就 愈

4、 低。这 种 编 码 方 法 有 很 多 种,如 基 于 线 性 预 测 原 理 的 预 测 编 码、基于 正 交 变 换 原 理 的 正 交 变 换 编 码、基 于 向 量 量 化 原 理 的 向 量 量化 编 码、基 于 分 层 处 理 的 分 层 编 码 以 及 基 于 频 带 分 割 原 理 的 子带编码等。主要用于对音频和视频数据的压缩。多 媒 体 信 息 编 码 技 术 主 要 侧 重 于 有 损 压 缩 编 码 的 研 究。经过 多 年 的 研 究 与 开 发,已 经 出 台 了 一 系 列 有 关 的 国 际 标 准。其 中,最 著 名 的 是 国 际 标 准 组 织（ISO）

5、制 定 的JPEG 和MPEG。JPEG是 静 止 图 像 的 压 缩 标 准,其 压 缩 比 可 达401。MPEG（MPEG-1、MPEG-2 及MPEG-4）是 动 态 图 像 的 压 缩 标 准,采 用MPEG-2 标 准对NTSC 质 量 视 频 进 行 压 缩 后,网 络 带 宽 需 求 可 降 低 到3.36Mb/s。其 它 的 标 准 还 有 国 际 电 信 联 合 会（ITU）制 定 的 用 于 可 视 电 话、会议电视的H.261 和H.263;用于音频的G.711、G.721、G.728 等。2.2 基本编码方法2.2.1 行程编码行 程 编 码 是 一 种 简 单 的

6、无 损 压 缩 编 码 方 法,它 通 过 压 缩 原 始数 据 中 相 同 的 字 节 序 列 实 现 数 据 压 缩。在 图 像 和 声 音 数 据 中 可 能包 含 大 量 的 相 同 字 节 连 续 重 复 的 序 列,通 过 行 程 编 码 可 以 将 这 些重 复 字 节 压 缩 掉,取 而 代 之 的 是 一 个 更 加 紧 密 的 字 节 序 列。例 如,一 个 原 始 数 据 字 符 串 为RTTTTTTTTABBCDGHJK,采 用 行 程 编 码后 的 字 符 串 为R 8TABBCDGHJK,这 里 用 8T 替 换 掉8个T 字 符,符 号“”是 特 殊 标 识 符,

7、用 于 表 示 行 程 编 码。如 果 原 始 数 据 字符 串 也 包 含 了“”符 号,则 必 须 用 两 个“”符 号 替 换 掉 原始数据字符串中的“”符号。2.2.2 哈夫曼编码哈 夫 曼(Huffman)编 码 是 一 种 无 损 压 缩 编 码 方 法,它 根 据 信 源符 号 出 现 的 概 率 大 小 进 行 排 序,出 现 的 概 率 大 的 符 号 分 配 短 码,反 之 分 配 长 码。在 分 配 代 码 过 程 中,需 要 建 立 一 个n阶 二 叉 树,其编码过程如下:对信源符号按其出现的概率进行递减排序;将两个最小的概率相加,其和作为新符号的概率;重复和,直到概率

8、之和达到1为止;每次合并消息时,将被合并的消息赋予1和0或者0和1;寻 找 从 每 个 信 源 符 号 到 概 率 为1处 的 路 径,记 录 下 路 径 上 的1和0;从树根节点到叶子节点,对每个信源符号列出0、1序列。例 如,A、B、C、D 四 个 字 符 出 现 的 概 率 分 别 为:P(A)=3/4;P(B)=1/8;P(C)=1/16;P(D)=1/16,按 照 上 述 编 码 过 程 将 生 成 如 图2.1所 示 的 二 叉 树,获 得 的 编 码 结 果 是:H(A)=1;H(B)=01;H(C)=001;H(D)=000,该结果存放在哈夫曼表中。图2.1哈夫曼编码生成的二叉

9、树2.2.3 离散余弦变换编码 变 换 编 码 主 要 有 离 散 傅 立 叶 变 换(DFT)编 码、离 散 余 弦 变 换(DCT)编 码 等。其 中,DCT编 码 方 法 被 普 遍 使 用,在JPEG、MPEG 和H.261 等 标 准 中 都 采 用 了DCT编 码。由 于 声 音 信 号 只 有一 个 时 间 维,因 此 音 频 信 号 压 缩 采 用 一 维DCT编 码,而 图 像 压 缩必 须 考 虑 水 平 和 垂 直 两 个 方 向,因 此 图 像 压 缩 则 采 用 二 维DCT编码。DCT编 码 方 法 是 对 一 个88 图 像 块 灰 度 样 本 数 据 流 进 行

10、 压缩,而 彩 色 图 像 压 缩 可 看 成 是 压 缩 图 像 的 多 个 分 量。在 编 码 器中,首 先 将 源 图 像88 样 本 数 据 块（像 素 块）的 取 值 范 围 由 0,2p-1（无 符 号）转 换 成-2p-1,2p-1-1（有 符 号）,其 中p为样 本 定 义 的 精 度。然 后 对88 样 本 数 据 块 进 行 正 向 离 散 余 弦 变换（FDCT）。在 解 码 器 中,利 用 逆 向 离 散 余 弦 变 换（IDCT）重 建88 样 本 数 据 块,恢 复 图 像。FDCT 和IDCT 的 数 学 表 达 式如(1)式和(2)式所示:式中：u,v=0 0其

11、它源 图 像88 样 本 数 据 块 实 质 上 是64点 离 散 信 号（空 间 范 围 x和y的 函 数）,FDCT 将 其 变 换 成64个 正 交 基 信 号,FDCT 的 输 出是64个DCT系 数（即 基 信 号 振 幅）。在 x、y两 个 方 向 频 率 都 为零 的 系 数 叫 直 流 系 数（DC）,其 余63个 系 数 是 交 流 系 数（AC）。由 于 图 像 帧 上 点 与 点 之 间 的 样 本 值 变 化 比 较 缓 慢,大 多 数 信 号集中在低频区。2.2.4 差分脉冲编码调制 图 2.2 DPCM 编解码器原理框图（a）DPCM 编码器;(b)DPCM 解码器

12、 2.2.5 运动补偿预测编码 运 动 补 偿 预 测 编 码 是 一 种 主 要 用 于 动 态 图 像 的 压 缩 的 预 测编 码。动 态 图 像 是 由 一 系 列 视 频 帧 组 成,帧 与 帧 之 间 可 能 存 在着 瞬 时 冗 余,这 种 瞬 时 冗 余 主 要 是 由 静 态 背 景 前 的 运 动 物 体 或摄 像 机 的 移 动 引 起 的。运 动 补 偿 预 测 编 码 主 要 通 过 帧 间 编 码 来压缩时间冗余信息。其基本原理如下:在视频帧序列中设置参照帧,且第1帧总是参照帧。对 于 当 前 的 编 码 帧,首 先 在 该 帧 的 前 帧 和/或 后 帧（参照帧）

13、中寻找与该帧的一个图像块相匹配的图像块。如果找到这样的块,则进行下列计算:当 前 块 的 块 亮 度 值 与 参 照 帧 中 对 应 块（称 参 照 块）的 块亮度值之间的差值信号（DPCM 码）;当 前 块 相 对 于 参 照 块 在x和y两 个 方 向 上 的 运 动 向 量 值,表 示 该 块 在x和y方 向 上 的 平 移。通 过 定 义 一 个 搜 索 域 来 限 制x和y方向上的搜索范围,以降低运动信息的开销;用 差 值 信 号 和 运 动 向 量 值 来 表 示 参 照 块 与 所 预 测 块 之 间的误差,称为预测误差。这 时,只 需 对 当 前 块 的 运 动 向 量 值 和

14、 预 测 误 差 进 行 编 码,不必对当前块的图像进行编码,以压缩时间冗余信息。如 果 找 不 到 这 样 的 块,则 必 须 进 行 帧 内 编 码,即 对 当 前块的图像进行编码。运动补偿预测编码可分成下列三种方式:单 向 运 动 补 偿 预 测:只 使 用 前 参 照 帧 或 后 参 照 帧 之 一 进行预测。双 向 运 动 补 偿 预 测:使 用 前、后 两 个 帧 作 为 参 照 帧 来 计算各块的运动向量,最后只选择具有最小匹配误差的参照帧相关的运动向量值。插 值 运 动 补 偿 预 测:使 用 前 参 照 帧 和 后 参 照 帧 两 者 预 测值的平均值。这时,必须分别存储和传

15、输这两个运动向量。2.3 图像编码标准2.3.1 JPEG 标准JPEG（JointPhotographicExpertsGroup）是ISO 为 制 定 有 关静 态 图 像 压 缩 标 准 而 成 立 的 一 个 专 家 组,现 已 公 布 了JPEG 标 准,标 准 号 为ISOCD10918。JPEG 作 为 一 种 静 态 图 像 压 缩 编 码 的 国际 标 准,在 实 际 中 得 到 广 泛 的 应 用。JPEG 图 像 压 缩 技 术 具 有 如下特点:能 够 大 范 围 地 调 节 图 像 压 缩 率 及 其 相 应 的 图 像 保 真 度,解 码 器 可 参 数 化。使 用

16、 户 在 具 体 应 用 时 可 以 选 择 所 期 望 的 压 缩率/质量比。能 够 应 用 于 任 何 连 续 色 调 数 字 源 图 像（实 际 应 用 中 可 能遇 到 的 图 像 有 很 多 种,故 不 限 制 图 像 的 尺 寸、色 彩 级 差、像 素长 宽 比 等 条 件）,不 限 制 图 像 的 景 象 内 容（如 复 杂 性、色 彩 范围或统计特性）。能 够 在 具 有 一 定 能 力 的CPU 上 实 现 所 要 求 的 功 能,以 利于 操 纵 复 杂 的 计 算 软 件,并 用 可 接 受 的 硬 件 成 本 实 现 具 有 高 性能要求的应用。规定了4种运行模式,以满

17、足各种需要:顺 序 编 码:按 从 左 到 右、从 上 到 下 的 顺 序 对 图 像 进 行 扫描 和 编 码。这 种 模 式 是 基 准 模 式,各 种JPEG 实 现 都 要 支 持 这 种模式。递 增 编 码:对 于 变 换 时 间 较 长 的 扫 描 器,按 由 粗 到 细 的 过程,以复合扫描顺序进行图像编码。无 损 编 码:保 证 准 确 地 恢 复 图 像 所 有 样 本 值 的 图 像 编 码。与有损模式相比,其压缩比低。分 层 编 码:以 多 种 分 辨 率 进 行 图 像 编 码,可 直 接 获 得 低 分辨率图像,重建复原全图。1.JPEG 图像模型JPEG 标 准 采

18、 用 一 种 通 用 的 图 像 模 型,能 够 适 用 大 多 数 常 用的 二 维 图 像 格 式。这 种 图 像 模 型 是 从 各 种 图 像 格 式 和 应 用 中 抽象 出 来 的,而 且 只 包 括 那 些 压 缩 和 重 构 数 字 图 像 所 必 需 的 数 据。JPEG 压 缩 数 据 格 式 没 有 提 供 关 于 表 示 完 整 图 像 的 编 码 信 息。例如,JPEG 没 有 定 义 和 编 码 任 何 有 关 像 素 尺 寸 比、色 彩 间 隔 和 图像获取特点等信息。通 常,JPEG 的 一 帧 源 图 像 包 含 有1255 个 图 像 成 分,称 为 颜色

19、平 面 或 组 元。每 个 组 元 是 一 个 样 本 点 矩 阵,样 本 定 义 的 精 度 为p位,取 值 范 围 是 0,2p-1,所 有 成 分 的 所 有 样 本 点 精 度 都 是 同一 个p。对 基 于DCT的Codec,p取8或12;对 基 于DPCM 的Codec,p取216。每 个 平 面 沿 水 平 和 垂 直 方 向 的 像 素 数 可 能 是 不 同 的,但 必须 使 用 同 样 多 的 位 数 对 所 有 平 面 的 所 有 像 素 进 行 编 码。例 如,颜 色 平 面 可 以 分 配 给 RGB（红、绿、蓝）三 色,也 可 以 分 配 给YUV（一个亮度和两个色

20、度）,各种模型都定义自己的精度。灰 度 图 一 般 由 一 个 组 元 构 成;GB 彩 图 有 三 个 等 分 辨 率 的 组元;YUV 彩 图 通 常 对 图 的 色 度 组 元 衰 减 采 样,以 减 少 存 储 量。例 如,采 用411形 式,色 度 的 水 平 和 垂 直 分 辨 率 组 元 只 是 亮 度的 一 半。这 主 要 基 于 如 下 事 实:人 的 视 觉 对 亮 度 组 元 十 分 敏 感,对色度组元的敏感性较低。图2.3像素块和“之”字形处理顺序(a)8 像素块；(b)“之”字形顺序2.JPEG 编码方法 图2.4DCT编码和解码过程（a）DCT编码过程;（b）DCT

21、解码过程在 编 码 器 中,首 先 由FDCT 对 源 图 像88 样 本 数 据 块 进 行 正 向离 散 余 弦 变 换,FDCT 将 输 出64个DCT系 数,其 中1个 是 直 流 系 数（DC）,其余63个是交流系数（AC）。量 化 器 对FDCT 输 出 的 每 个DCT系 数 进 行 量 化 处 理。量 化 的目 的 是 去 除 那 些 无 显 著 视 觉 意 义 的 高 频 信 息。在 量 化 时,每 个DCT系 数 与 量 化 表 中 的64个 元 素 进 行 舍 取 运 算。量 化 表 是 由 开 发者指定并输入到编码器中。量化计算公式如下:经 过 量 化 处 理 后,DC

22、 系 数 从63个AC 系 数 中 分 离 出 来 进 行 单独 处 理,因 为DC 系 数 代 表 了 相 当 一 部 分 图 像 信 息。所 有 的 量 化 系数 按“之”字 形 顺 序 排 列,低 频 系 数 将 排 在 高 频 系 数 之 前,以 利于实现熵编码。在 熵 编 码 处 理 之 前,先 对DC 系 数 进 行DPCM 编 码,对AC 系 数进 行 行 程 编 码。由 于 大 多 数AC 系 数 都 为 零,只 有 少 数 不 为 零,行程 编 码 将 压 缩AC 系 数 中 零 值 序 列,对 非 零 系 数 进 行 有 效 编 码。行 程 编 码 分 为 两 步 处 理:

23、先 将 量 化 的DCT系 数 转 换 成 中 间 符 号 序列,再向符号分配可变长代码。中 间 符 号 序 列 是 一 种 双 符 号 序 列。对 于AC 系 数,符 号1表 示两 部 分 信 息:行 程 和 位 长,行 程 取 值 为015,位 长 取 值010;符 号2表 示 振 幅 信 息,即 非 零 系 数 大 小。对 于DC 系 数,符 号1表 示 位 长信 息,符 号2表 示 振 幅 信 息。由 于DC 系 数 有 别 于AC 系 数,故 它 的符 号1取 值 范 围 是111。为 其 分 配 的 代 码 是 可 变 长 的,以 便 于 使用熵编码进行压缩处理。熵 编 码 是 按

24、DCT系 数 的 统 计 特 征 对 量 化 系 数 进 一 步 编 码,实现 无 损 压 缩。JPEG 规 定 了 两 种 熵 编 码 方 法:哈 夫 曼 编 码 和 算 术 编码。对 于 哈 夫 曼 编 码 所 需 的 哈 夫 曼 表,JPEG 标 准 没 有 作 具 体 规定,这由开发者根据应用需要来决定。JPEG 还 要 对 成 分 所 用 的 表 进 行 控 制,以 保 证 将 适 当 的 表 用于 适 当 的 成 分。对 一 个 成 分 中 所 有 样 本 进 行 编 码 时,必 须 使 用同 一 个 量 化 表 和 同 一 套 熵 编 码 表。JPEG 解 码 器 同 时 存 放

25、4个 不同 的 量 化 表 和4套 不 同 的 熵 编 码 表（顺 序 扫 描 解 码 器 例 外,它 只能 存 放2套 熵 编 码 表）,这 对 解 码 时 为 多 成 分 图 像 切 换 不 同 的 适用表来说是必要的。与 上 述 编 码 过 程 相 反,在 解 码 处 理 过 程 中 首 先 是 熵 解 码 过 程,然 后 是 解 量 化 过 程,它 是 将 量 化 函 数 值 乘 以 步 长,其 结 果 作 为IDCT 的 输 入 量,最 后 执 行IDCT,重 建88 样 本 数 据 块,形 成 重 建图像。JPEG 标 准 对 数 据 压 缩 和 图 像 质 量 的 关 系 进 行

26、 了 详 细 说 明。对 于 具 有 中 度 复 杂 景 象 的 彩 色 图 像,所 有DCT运 行 模 式 都 可 生成以下几种图像质量水平（按图压缩率表示）:0.250.5 位/像素:图像质量中等,可满足一般的应用需求;0.50.75 位/像 素:图 像 质 量 好,可 满 足 有 一 定 图 像 质 量 要求的应用需求;0.751.5 位/像 素:图 像 质 量 很 好,可 满 足 有 较 高 图 像 质 量要求的应用需求;1.52.0位/像 素:图 像 质 量 极 好,已 难 以 分 辨 重 建 图 像 与源图像间的差别,可满足有更高图像质量要求的应用需求。3.JPEG 其它运行模式(

27、1)递增运行模式它 也 是 由FDCT 和 量 化 过 程 构 成 的。所 不 同 的 是,图 像 分 量 是多 次 扫 描 编 码,第 一 次 扫 描 编 码 产 生 的 图 像 是 粗 糙 的,然 后 可 再组 织 后 续 的 扫 描,对 图 像 逐 步 求 精,直 到 达 到 量 化 表 所 规 定 的 图像 质 量 水 平。这 种 运 行 模 式 的 优 点 是 可 生 成 预 显 示 的 图 像,而 无需对该图像完全解码,可以迅速地传输和显示图像。这 里 有 两 种 对 量 化DCT系 数 进 行 编 码 的 方 法:一 是 在 一 次 扫描 中,只 对“之”字 形 顺 序 中 一

28、个 特 定“波 段”的 系 数 进 行 编 码,这 一 过 程 叫“频 谱 选 择”;二 是 在 当 前 波 段 中,无 需 在 一 次 扫 描中 对 全 部 系 数 进 行 准 确 编 码,可 首 先 指 定N 个 最 有 意 义 的 位 先 编码,在 后 面 的 扫 描 中,再 对 其 次 有 意 义 位 进 行 编 码,这 个 过 程 叫连续逼近。上述两种方法可分别使用,也可灵活组合使用。(2)无损运行模式它 与 源 编 码 过 程 不 同,不 是 采 用 变 换 编 码 和 量 化 器 相 结 合的 方 式 进 行 编 码,而 是 采 用DPCM 技 术 进 行 无 损 压 缩 编 码

29、,但 压缩 率 较 低。这 种 运 行 模 式 主 要 用 于 无 损 地 存 储 和 传 输 图 像（如X 光 照 片）的 场 合。对 基 于DPCM 的 无 损 压 缩 模 式,JPEG 没 有严格规定。对于中等复杂程序的彩图,其压缩比为21。(3)分层运行模式它 提 供 一 种“金 字 塔”式 分 辨 率 图 像 编 码,即 相 邻 两 次 编 码,分 辨 率 在 水 平 或 垂 直、或 者 两 个 方 向 上 相 差 二 倍。其 过 程 是:先 降 低 源 图 的 分 辨 率,对 其 采 样 编 码,再 复 原 重 建;然 后 提 高 分辨 率 再 采 样 编 码,作 为 源 图 的

30、预 测 值,与 低 分 辨 率 采 样 值 进 行 比较,对 其 差 值 分 别 进 行 编 码;重 复 上 述 步 骤,直 到 实 现 图 像 的 全分 辨 率 编 码。这 种 运 行 模 式 很 适 合 于 用 低 分 辨 率 设 备 处 理 高 分辨率图像的应用。2.3.2 H.261 标准 为 了 满 足 在 综 合 数 字 网 络（ISDN）上 开 展 可 视 通 信 业 务 的 需要,ITU 专 门 成 立 了 一 个 可 视 电 话 编 码 规 范 小 组 来 制 定 有 关 视 频 信号 传 输 编 码 标 准,并 先 后 完 成 了H.261 和H.263 标 准 的 制 定

31、 工 作。H.261 是“p64kb/s 视 频 编 解 码 器”标 准,其 中p的 取 值 范 围 在130之 间,代 表ISDN 的B 通 道 数 量,各 个 通 道 的 数 码 率 为64kb/s。由于H.261 主 要 是 为 可 视 电 话 和 电 视 会 议 制 定 的,因 此,标 准 中 所 建议 的 视 频 编 码 算 法 应 具 有 实 时 处 理 能 力,延 时 应 控 制 到 最 小 程 度。当p=1 或2时,由 于 数 码 率 较 低,仅 能 用 于 桌 面 上 进 行 面 对 面 直 观 通信。而 当p6 时,由 于 提 高 了 数 码 率,能 够 传 输 较 复 杂

32、 的 图 像,图像质量也得到改善,因此更适合电视会议。H.261 的 目 标 是 在 世 界 范 围 内 的 数 字 电 话 通 道 上 实 现 视 频 和 音 频信号的传输,具体的目标是:视 频 源 信 号 可 以 是525线 或625线 的 电 视 信 号。在 实 际 应 用 中必 须 将 视 频 源 信 号 转 换 成 通 用 中 间 格 式（CIF）,使 之 不 依 赖 于 视 频源 信 号 格 式。这 样 便 允 许 各 个 地 区 之 间 不 同 电 视 格 式 设 备 通 过 标 准的Codec 进行通信。由标准编码器产生的位流可以和其它信号（如音频）一起传输。视 频 传 输 速

33、 率 在40kb/s 2Mb/s 之 间,与 电 视 会 议 和 可 视 电话的图像质量相对应。支持单向或双向的可视通信。支持多点通信。是否纠错由编码器决定。1.视频编码格式 图 2.5 H.261 的亮度和色度样本分布 表2.2 CIF 和QCIF编码格式参数举例 GIF QCIF行数/帧 像素数/行 行数/帧 像素数亮度Y 288 360(352)144 180(176)色度Cb144 180(176)72 90(88)色度Cr 144 180(176)72 90(88)以29.97 帧/秒 速 率 传 送CIF 和QCIF,未 压 缩 数 码 率 分 别 为36.45Mb/s 和9.11

34、3Mb/s。在 使 用ISDN 通 道（p64 kb/s,p=1,2,30）传 送 视 频 信 号 时,必 须 大 幅 度 地 降 低 数 码 率。至 于 选 用CIF 和QCIF 中 的 哪 一 种,则 取 决 于 通 道 容 量 的 大 小。当p=1 或2时,在 桌 面 可 视 电 话 应 用 中 常 选 用QCIF。如 果 在10帧/秒 速 率 下 使 用,即 使 选 用QCIF 也 要 将 数 码 率 减 少47.5倍 才 能 使 用64kb/s 通 道 来传 送 信 号,这 是 很 难 实 现 的。当p6 时,可 以 使 用CIF,因 为 它 有很 多 可 用 于 对 图 像 编 码

35、 的 信 息。由 于CIF 的 分 辨 率 高,更 适 合 于电视会议方面的应用。图2.6CIF 和QCIF 视频帧数据结构它 分 为4 个 层 次:画 面、块 组（GOB）、宏 块（MB）和 块。其 中,每 个CIF 画 面 有12个GOB,每 个 块 组 由311 个 宏 块 组 成,每个 宏 块 由4个88 亮 度 块（Y）和 两 个88 色 度 块（Cb和Cr各1个）组 成,一 个 块 由88 像 素 点（DCT编 码 单 位）组 成。一 个QCIF 图像 有3个GOB,是CIF 的 四 分 之 一。这 种 以 块 为 单 位 的 层 次 结 构 对高压缩比视频编码算法来说是至关重要的

36、。每 个 画 面 层 的 数 据 中 都 有 一 个 图 像 标 题,图 像 标 题 后 是GOB的 数 据。图 像 标 题 包 括 一 个20位 的 图 像 起 始 码 以 及 其 它 信 息。例 如,视 频 编 码 格 式（CIF 或QCIF）、临 时 标 记（帧 编 号）等。GOB 层 有 一 个 块 组 标 题,紧 随 其 后 的 是 宏 块 数 据。块 组 标 题 包 括一 个16位 的GOB 起 始 码 以 及 其 它 信 息。例 如,GOB 的 位 置、GOB量化信息等。宏 块 层 有 一 个 宏 块 标 题,宏 块 标 题 之 后 是 块 的 数 据。宏 块标 题 包 括 一

37、个 该 宏 块 类 型 变 长 码（VLC）。其 后 是 一 个 宏 块 变长 码,标 明 是 帧 内 编 码 还 是 帧 间 编 码,是 否 附 带 运 动 预 测 和 循 环滤 波 器。根 据 宏 块 的 具 体 类 型,后 面 还 可 以 跟 有 各 种 各 样 的 附 加信 息。当 运 动 预 测 精 确 到 某 一 给 定 的 指 标 时,无 需 传 送DCT系 数的 块 数 据。另 外,在 一 个GOB 中,如 果 某 一 宏 块 中 没 有 包 含 图 像,则相应部分的信息就不必传送。块 层 含 有 块 的DCT系 数,其 后 是 一 个 定 长 码EOB,用 以 标 识块 的

38、结 束。块 的DCT系 数 利 用 了 二 维VLC编 码。宏 块 中 并 不 是每一个块都需要传送。2.视频编码算法 图2.7H.261 编码与解码处理过程(a)视频编码器;(b)视频解码器 被 传 输 图 像 的 第1帧 总 是 按 帧 内 编 码 方 法 编 码（该 帧 的所有宏块）:整个图像帧被分成互不重叠的88 像素块;对这些块进行FDCT 变换;对 所 产 生 的64个DCT系 数 进 行 线 性 量 化,并 按“之”字 形重新排列;为 帧 间 编 码 准 备 参 照 帧,即 使 用 逆 向 量 化 器 和IDCT 变 换在 编 码 器 内 对 该 帧 进 行 解 码 来 恢 复,

39、生 成 与 接 收 端 解 码 器 完 全一致的参照帧,并存放在图像存储器中供帧间编码使用。对 后 续 需 要 编 码 的 帧,要 根 据 最 新 的 参 照 帧 进 行 运 动 补偿 预 测,以 决 定 该 帧 的 每 个 宏 块 是 否 进 行 帧 内 编 码 或 帧 间 编 码。H.261 采用单向运动补偿预测算法,即:每 个 宏 块 只 使 用4个 亮 度 块,针 对 当 前 被 编 码 的 宏 块,在 参照 帧 中 寻 找 最 接 近 的 匹 配。H.261 通 过 检 查 宏 块 计 算 运 动 补 偿 值,运动向量的搜索范围在15 个像素内。如 果 找 不 到 一 个 最 接 近

40、 的 匹 配,则 在 该 宏 块 中 使 用 与 帧 内编 码 完 全 相 同 的 编 码 方 法。对 运 动 向 量 进 行 差 分 编 码,并 以 从左 边 宏 块 的 运 动 向 量 作 为 参 考。标 准 规 定,编 码 器 不 能 用 来 确定 运 动 向 量,H.261 只 考 虑 连 续 帧 中 同 一 位 置 上 宏 块 之 间 的 差 异。如果当前块与所预测块之间的误差小于某一阈值,则该块可以略过不编码。必 要 时 可 以 在 源 编 码 器 和 熵 编 码 器 之 间 使 用 循 环 滤 波 器,以 滤 掉 高 频 干 扰,改 善 图 像 质 量。这 种 方 法 特 别 适

41、 用 于 低 数 码 率的情况。H.261 的 量 化 器 是 一 种 线 性 量 化 器,并 非JPEG 和MPEG 中所 使 用 的 量 化 矩 阵。它 只 是 对GOB 使 用 了 量 化 系 数,并 不 区 分 高频DCT系数和低频DCT系数。H.261 的 熵 编 码 是 可 变 长 的,并 对 所 有 用 到 的 哈 夫 曼 表 按标准进行预定义,同时还定义了运动向量表和量化编码表等。2.3.3 H.263 标准H.263 是 一 种 低 数 码 率 下 的 运 动 图 像 编 码 标 准,它 在H.261 的基 础 上 进 行 适 当 的 扩 展,主 要 是 用 于 支 持 低

42、数 码 率 下 的 视 听 信 号传 输 服 务 的。典 型 的 应 用 有:在V.34 Modem 的 连 接 上 采 用20kb/s 速 率 传 输 视 频 信 号;采 用6.5kb/s 速 率 传 输 音 频 信 号。H.263吸 取 了MPEG 的 经 验 对H.261 进 行 改 进,主 要 进 行 如 下 方 面 的 扩展:将 图 像 格 式 由 两 种 增 加 到 五 种、对 运 动 补 偿 预 测 进 行 改 进 和精化以及支持双向运动补偿预测等。2.3.4 MPEG 标准MPEG（Moving PictureExperts Group）是ISO 为 制 定 有 关动 态 图

43、像 压 缩 标 准 而 成 立 的 一 个 专 家 组,现 已 经 公 布 了 多 个 版本 的MPEG 标 准:MPEG-1、MPEG-2 和MPEG-4,其 中MPEG-1是MPEG 标 准 集 的 基 础,MPEG-2 和MPEG-4 都 是 在MPEG-1 基 础上所作的改进和扩展,以满足不同的应用要求和环境。MPEG 标 准 是 一 个 通 用 标 准,既 考 虑 了 应 用 要 求,又 独 立 于具 体 的 应 用。MPEG 标 准 可 用 于 下 列 数 字 存 储 媒 体 上:光 盘（CD-ROM）、数 字 录 音 带（DAT）、磁 盘、可 写 光 盘 以 及通信网络(综合业务

44、数字网、分组交换网以及局域网等)。MPEG 标 准 不 仅 考 虑 了 视 频 数 据 压 缩,而 且 还 考 虑 了 音 频 数据 压 缩 以 及 二 者 之 间 的 同 步 问 题。作 为MPEG 视 频 压 缩 算 法,必须 具 有 与 存 储 相 适 应 的 性 质,即 能 够 随 机 访 问、快 进/快 退 检 索、倒 放、音 像 同 步、容 错 能 力、延 时 限 制、可 编 辑 性 以 及 灵 活 的视 频 窗 口 格 式。实 现 这 些 特 性 对 各 种 应 用 都 是 十 分 重 要 的,因而也构成了MPEG 视频压缩算法的基本特征。2.3.4.1 MPEG-1 标准 1.

45、MPEG-1 图像组织结构MPEG-1 视 频 压 缩 算 法 所 面 临 的 一 个 矛 盾 是:在 保 证 图 像 质量 的 前 提 下,仅 靠 帧 内 编 码 很 难 达 到 高 压 缩 比;而 满 足 随 机 访问 条 件 的 最 好 方 法 则 是 帧 内 编 码。为 使 高 压 缩 比 和 随 机 访 问 这两 方 面 要 求 都 能 得 到 满 足,MPEG-1 采 取 了 预 测 和 插 值 两 种 帧 间编码技术。为此,MPEG-1 将图像编码帧分成三类:I 帧（Introcodedframe,内 帧）:它 采 用 与JPEG 相 类 似 的 编码 方 法 进 行 编 码,并

46、 且 在 编 码 时 不 必 参 照 其 它 的 帧,其 压 缩 比 是 比较 低 的。I 帧 可 作 为 随 机 访 问 点 以 及 其 它 图 像 编 码 帧 的 参 照 帧。P 帧（Predictivelycodedframe,预 测 帧）:它 需 要 利 用 前 面的I 帧 或P 帧 信 息 进 行 编 码 和 解 码,同 时 又 是 后 续P 帧 的 参 照 帧。它利 用 了 瞬 时 冗 余 特 性,可 获 得 较 高 的 压 缩 比。然 而 只 有 对 所 参 照的I 帧和P 帧完成解码后才能访问P 帧。B帧（Bidirectionallypredictivelycodedfram

47、e,双 向 预 测 帧）:它 需 要 利 用 前 面 和 后 面 的I 帧、P 帧 信 息 进 行 编 码 和 解 码,但 它 本身 不 可 作 为 参 照 帧。由 于B 帧 使 用 了 双 向 运 动 补 偿 预 测 技 术,故 它的压缩比是最高的。图 2.8 MPEG-1 视频帧编码及关系 图2.9MPEG 视频流的数据层次 2.MPEG-1 视频压缩算法MPEG-1 视 频 压 缩 算 法 采 用 两 种 基 本 技 术:一 是 基 于 块 的 运动 补 偿 预 测,以 缩 减 时 间 冗 余;二 是 基 于DCT的 变 换 编 码,以 缩减 空 间 冗 余。运 动 补 偿 预 测 技

48、术 采 用 纯 预 测 编 码 和 插 值 预 测 编码 两 种 编 码 方 法。剩 余 信 号（预 测 误 差）在 缩 减 空 间 冗 余 时 被进 一 步 压 缩。与 运 动 有 关 的 信 息 包 含 在1616 块 中,与 空 间 信息 一 起 进 行DCT变 换。为 获 得 最 大 限 度 的 编 码 效 率,使 用 可 变长熵编码器来压缩运动信息。MPEG-1 视频的编码与解码处理过程如下:每 个GOP 的 第1帧 总 是I 帧,它 是 按 块 顺 序 编 码 的,即 使 用DCT变 换、量 化 过 程 和 熵 编 码 方 法 进 行 中 度 压 缩,并 作 为 参 照帧和随机访问

49、点。当GOP 中 出 现B 帧 或P 帧 时,将 启 动 运 动 补 偿 预 测 过 程,以获取最佳的压缩比。对 于P 帧 的 编 码,运 动 补 偿 预 测 算 法 使 用 最 近 一 个I 帧 或P帧 作 为 参 照 帧。如 果 在 当 前 帧 的 宏 块 与 参 照 帧 的 宏 块 之 间 找 到一 个 较 好 的 匹 配,则 对 当 前 帧 的 宏 块 的 运 动 向 量 和 所 得 到 的 预测误差进行编码;否则,只对该宏块进行帧内编码。对 于B 帧 的 编 码,其 处 理 过 程 比 较 复 杂,因 为 必 须 考 虑四 种 可 能 性:正 向 预 测、反 向 预 测、插 值 和

50、宏 块 中 的 帧 内 编码（在 前 三 者 均 不 合 适 的 情 况 下）。如 果 使 用 插 值 方 法,则 必须 使 用 前、后 两 个 最 近 的I 帧 或P 帧 作 为 参 照 帧,并 产 生 两 个 运动 向 量 和 一 个 预 测 误 差 块,并 且 应 当 首 先 传 输P 帧 和B 帧 的 参 照帧。MPEG-1 标 准 采 用 了 两 种 结 构 的 量 化 器,根 据 帧 内 编 码 和帧 间 编 码 不 同 的DCT系 数 性 质 采 用 不 同 的 量 化 矩 阵,通 过Q 系 数来 控 制 编 码,以 适 应 编 码 器 的 输 出 数 码 率。由 于 预 测 误