气象领域深度学习知识体系框架及前沿应用.doc

《气象领域深度学习知识体系框架及前沿应用.doc》由会员分享，可在线阅读，更多相关《气象领域深度学习知识体系框架及前沿应用.doc（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、（） 陕 西 气 象 李社宏 气象领域深度学习知识体系框架及前沿应用 陕西气象， （）： ： （ ） 文章编号 气 象 领 域 深 度 学 习 知 识 体 系 框 架 及 前 沿 应 用 李社宏 （ 陕西 省气 象局 ， 西安 ） 摘 要 ：介绍了数据挖掘、机器学习和深度学习的概念和相互关 系，按 照整体性学 习理论建 立了气 ， ， 象领域深度学习知识体系框架 简要 介绍了 当前 主流的 深度 学习框 架工 具 和 以及深度学习在气象领域的几个前沿应用，最后提出了推进深度学习 技术在气象 领域研究应 用应 当重视的三个关键环节。 关键词 ：数据挖掘；深度学习；卷积神经 网络；知识体系框架 中

2、图分类号 ： 文献标识码 ： 近 年来 ，深度 学 习 理论 与 技 术 取得 了 重 大突 数据 挖掘 、 机器 学习 与深 度学 习的联 系与 区别 破 ，日 臻 完善 ，其 大 规 模 研 究 应 用 的 浪 潮 奔 涌 而 数 据挖掘 益 广泛 ，并迅 速 向 经 济 发 展 、社 会 生 活 等 各 个 领 程。 数据 挖掘 需要 运用 大量 机器学 习领 域提 供的 域 渗透 ，深度 学 习 已 经 成 为 各 行 各 业 战 略 转 型、 数 据 分 析 技 术 和 数 据 库 领 域 提 供 的 数 据 管 理 创 新发 展 的 重 要 源 头 和 强 大 动 力。 在 气 象

3、 领 域 技术 。 原 因主 要 在 于 ，深 度 学 习 和 气 象 科 技 分 别 都 是 门研 究计 算机 如 何 模拟 或 实 现 人 类 的学 习 行 为 ， 非 常庞 大 且 复 杂 的 知 识 体 系 ，两 个 知 识 体 系 叠 以获 取新 的知 识 或 技能 ，重 新组 织 已 有 的 知 识结 加 后的 复 杂 程 度 远 远 超 出 了 个 人 （甚 至 超 级 专 构，使之 不断 改 善 自身 性 能 的 学 科。 机 器 学 习是 家）可 以 掌 控 的 范 围 。 要 同 时 驾 驭 这 两 个 复 杂 人 工 智 能 的 核 心，是 使 计 算 机 具 有 智 能

4、 的 根 本 知 识体 系 ，需 要 转 变 传 统 思 维 方 式 和 学 习 方 法， 途径 。 运 用整 体 性 学 习 策 略 ，首 先 构 建 气 象 领 域 深 度 深 度学习 队 的力 量 快 速 进 入 新 领 域 。 本 文 按 照 整 体 性 学 一个 新领 域，通过 建 立 模 拟人 脑 进 行 分 析 学习 的 习 的理 论 和 方 法 ，给 出 了 一 个 初 步 的 气 象 领 域 多层 神经 网络 ，模仿 人脑 的机 制来 解释 数据 ，例如 深 度学 习 的 知 识 体 系 框 架 ，并 简 单 介 绍 了 当 前 视频 、图 像、声 音和 文本 等数 据。 深

5、度 学习的 优势 主 流的 深 度 学 习 框 架 工 具 和 ， 是能 够通 过学 习 算 法自 动 获 取 数 据 特征 ，同 时由 以 及深 度 学 习 在 气 象 领 域 的 几 个 前 沿 应 用 ，最 于模 型 的 层次 、参数 很 多，容 量 足够 ，因 此 模 型擅 后 提出 了 推 进深 度 学 习 技 术 在 气 象 领 域 研 究 应 长于 表示 大规 模数 据。 深度 学习 方法 主要包 括监 用 应当 重 视 的几 个 关 键环 节 。 督学 习与 无 监督 学 习 两 种。 例 如 ，卷 积 神 经 网络 收稿日期 ： 作者简介 ：李社宏（ ），男，汉族，陕西周至人

6、，高级工程师 ，主要从事气象业务管理。 ， 、 、 、 （ ， ） 、 ， ， ， 。 （ ， ） ， ， （ ， ） （ ， ） 陕 西 气 象 。 ， （） ， 就 是一 种 难度 大幅 度增 加 如何 克服 困难 跨越 这个 难度 监督 学习 模 型 ，而 深 度 置 信 网 （ ， 需要 同时 从两 个方 面着 手。 一是 通过 搭建气 象领 ）就是 一种 无监 督学 习模 型。 、 域深 度学 习知 识体 系框 架，高 效学 习、快速 进入深 。 ， 数据 挖掘 机 器 学习 和 深 度 学 习 三者 之 间 既 度学 习领 域 二 是 建 立团 队 发 挥 团 队 成 员 在各 有

7、联 系，区别也 十分 明显 。首 先，数据挖 掘是 一个 很宽 泛 的 概念 ，不仅 要 研 究、拓展 、应用 机 器 学习 技术 ，还 要使用 数据 库技 术、数据 清洗等 非机 器学 习技 术。 其次 ，机 器 学 习 不仅 涉 及 对 数 据 的 分析 处理 ，还 涉及对 人的 认知 学习 过程 的探 索，是 人工 智能 的核 心研 究 领域 之 一 ，也 是 数 据 挖 掘 的 重要 工具 。再 次，深 度 学 习 是 机器 学 习 的 一 个 新 的热 门领 域，本质上 来源 于多 隐层 的神 经网 络。 总之 ， 数据 挖掘 的技 术 成分 更 重 一 些 ，机 器 学 习 的 科

8、学 成分 更重 一 些。 数 据 挖掘 是 从 目 的 而 言的 ，侧重 于把 数据 转化 为 有用 的 信 息 和 知 识，而 机 器 学习 是从 理论 和方 法 而言 的 ，侧重 于 如 何 科 学 高 效的 实现 这种 转化 。 气象 领域深 度学 习知 识体 系框 架 从技 术角 度而 言 ，深 度 学 习 是 一 系列 复 杂 知 识和 技术 的组 合，真 正 全 面掌 握 深 度 学 习 技 术是 一件 很难 的 事情 。 何 况，把深 度 学 习 应 用 到 气象 领域 ，还 需要掌 握气 象领 域的 复杂 的知 识和 技术 ， 自领 域的 技 术优 势 ，分工 合 作 。这 两

9、 方 面 措 施需 要同 时采 取，同时发 力，才能 取得 效果 。这 里重点 探讨 第一 个方 面。 整体 性学 习是 一 种 高 效 学 习理 论 ，它 在深 入 研究 和科 学借 鉴 人 类大 脑 工 作 机 理 的基 础 上 ，充 分发 挥大 脑结 构 和 大脑 中 丰 富 的 神 经元 的 作 用 ， 通过 创建 知识 网 络，将 一 个 个孤 立 的 知 识 关 联起 来，以达 到对 知 识 的完 全 理 解 和 轻 松 驾 驭 。运 用整 体性 学习 理 论，可 帮 助 我们 快 速 高 效 学 习有 关深 度学 习知 识，并 与气 象知 识建 立关 联，快速进 入深 度学 习庞

10、 大而 复杂 的知 识领域 。 整体 性学习 首要 的是 建立 知 识 体系 框 架 ，作 者 通 过 阅 读 大量 相关 资料 并进 行 梳 理，建 立 了一 套 气 象 领 域 深度 学习 知识 体系 框架 。气 象领 域深 度学 习知识 体系 框架 主 要 包括 ：大数 据 平 台、数 据获 取 、实 时 数据 流处 理、历史数 据交 互式 处理 、复 杂的 批量数 据处 理、机器 学习 、深度 学习 和应 用云 化，共 八个 部分 ， 每部 分 还 可 继 续 细 分 ，如 图。图中 阴 影 部 分 图 气象领域深度学习知识体系框架 （） 李社宏 气象领域深度学习知识体系框架及前 沿应

11、用： ， ， 的内 容是 与气 象 领域 有 关 的 知 识 其 余 为 通 用的 气象领域 的几个前沿研 究与应用 以 概要 了解相 关 深度 学习 知识 。 主流 深度学 习框 架工 具 目前 ，深度 学习 正处 于蓬 勃发 展阶 段 ，各 种深 领域的发 展思路、发展 方向、发展态势 及进展。 天 气系统 自动 识别 在视频流 中实时发现目 标及其运动 情况，是 目 度 学 习 框 架 工 具 层 出 不 穷 ，发 展 迅 速，迭 代 周 期 、 等。 这里 介绍 两个 成熟 、易于 掌握 、使 用普遍 的通 用深 度 学 习 框 架，即 和 ，以 便 对深 度学 习框 架有 一个 基本

12、 认识 。 （全 称 是一 个 清 晰、高 效、高可 读 的 深度 学 习 框 架，作者 接口 ，可 以在 和 之 间 无 缝 切 换 运 行 。 行速 度 快、模 块化 、开源 和 活 跃的 社 区 等，是 目前 图像 识别 领域 的主 流框 架。 是谷 歌 研 发 的 第 二 代 人 工 智 能 一端 流动 到 另 一 端 的 计 算 过 程 。 是 将复 杂的 数据 结构 传输 至人 工智能 神经 网中 进行 分 析 和 处 理 的 系 统，其 优 势 是：灵 活 性 和 可 延 展 性，同时 还支持 异构 设备 分布 式计 算，可在小 到一 部智 能手 机、大 到 数 千 台 数据 中

13、 心 服 务 器 的 各种 或图 像 识 别 等 多 项 深 度 学 习 领 域 。 也是 开源 的，且 社区 繁荣 。 在官 网 上 下 载 到 源 码、测 试 数 据 集 （如 、 数 据 集 等 ）和 详 细 的 安 装 配 置 指 南 ， 也可 在网 络 社 区 找 到 丰 富 的 学 习 资 料 和 操 作 案 例，二者 都可在 单机 上调 试运 行，非常方 便初 学者 入门 与提 高。 气象 领域深 度学 习的 几个 前沿 研究 与 应 用 这里，简要介 绍国内外把 深度学习技 术应用 于 前深度学 习技 术的 一个 热 门应 用领 域。 在气 候 数 据集中发 现极端天气系 统，

14、与在视频 流中 发现目 标 及其运动 情况非常相似 。不同之处 在于，在气候 数 据集中， “视 频 ”有个或更 多的 “通 道 ”信 息（如 气 压、温度、湿 度、风向风速等），而传统 的视 频中只 有 开发了深 层卷积神经网 络天气系统 识别 系统，通 过 建立了 卷积 神 经网 络 并调 优，用 历史 气 候 数 据集进 行 了 网 络 训 练 该 共 有 个 学 习 积层之后 紧跟 一个 最大 池 化层。 研究 中 使用 了 两 种资料：气 候模拟 资 料和 再分 析 资料 ，时 间范 围 从 到不 等，各种天 气系 统的 真实 标注 数 据来 自 分 析 输 出，由 专 家 手 动

15、标 注 完 成。 等则更进 一步考 虑 用一 个统 一的 网 络对 多种 类 型 天气系统 进行识别，这 是对这个问题 的一 个更高 级 路，已取得 了良好进展 。 卫 星云图 识别 和云 量计 算 王舰 锋等 运用 卷积 神经 网络开 展了 卫星 云图 判识 研究 ，并在 此基 础上 进行 了卫 星云 量计 算 。 首先 ，在 中国 资源 卫星 网 下载 了 卫星 资料 ，经 过预处 理，分别 建立 了训 练样 本集和 测试 样本 集。 其中 训 练 样 本集 包 括 厚 云、薄 云 和 晴空 三类 各个 样本 ，测 试 样本 集包 括厚 云、薄云 像都 进行 了归 一 化 处理 ，处 理后

16、 的 图 像 像 素 大小 为 ，以 此 作 为 卷 积 神 经 网 络 的 输 入。 其 卷积 层 、池 化 层 、全 连 接 层 分类 层 和 输、 出层 ，利 用 该 对 个 训 练 样 本 进 行 训 神经 网络 从网 络层 数、滤 波器 个数 、滤 波器大 小等 短。 常见 的 深 度 学 习 框 架 工 具 有 、 ， ） 是贾 扬清 。 支 持 命 令 行、 和 ： 、 、 学习 系统 ，其命 名 来 源 于本 身 的 运 行 原 理。 （ ） ， （ ）， 。 ， 。 ： 陕 西 气 象 ， （） 几个 方面 进 行了 优 化 结 论 是 当 卷 积 神 经 网络 阔的 应用

17、前景 气 象 领 域 也呼 唤 着 深 度 学 习技 术 的层 数 为 层 时，网 络分 类的 准确 率最 高；当 第一 ， 能够 早日 加入 。加 快推 进深 度学 习技术 在气 象领 ， 层滤 波器 个数 为 个 第 二 层 滤 波 器 个 数 为 域的 研究 应用 积 极 主 动 迎接 气 象 领 域 深 度学 习 个时 ，网 络分类 的准 确率 最高 ；当 第一层 滤波 器大 类的 准确 率 最高 。 优 化后 ，网 络 对 云 分 类 的 准确 对多 通道 卫星 云 图进 行 检 测 基 础 上，采 用 基 于反 射率 检测 的算 法 开展 总 云 量 计 算，最 终 得 到 云量

18、分布 图。 第五 ，经 比 较 传 统阈 值 法 、动 态 阈 值 法 、 极限 学习 机模 型 和卷 积 神 经 网 络，结 果 表 明 基于 卷积神经 网络的云量 计算准确率最 高，接近。 地 基全天 空云 图分 类 张振 等研 究了 基于 深度 学习的 数字 地基 全天 空云 图分 类方 法 。 研究 使用 了中 国气 象科 学研 究院 和北 京交 通大 学共 同发 布的全 天空 云图 数据 集，该数 据集由 布 设 在 西 藏的 全 天 空 云 图 成像 仪 采集 获 得 ，数 据 采 集 时 间 为 年 月 至 种云 图 像 类 别，分 别 是 ：卷 状 云、积 状 云 、层 状 使

19、用 的深 度学 习框 架为 ，卷积 神经 网络 结构 包括 ：三个 卷 积 层、两个 全 连 接 层以 及 分 类器 层 ， 每个 卷积 层后 边 都有 池 化 层 ，池 化 层 采 用 了 最大 值策 略。 针对 小样 本数 据集 标注 样本较 少的 局限 性，研究 采用了 迁 移 学 习 的思 想 和 样 本 图 像扩 容 数，然后 再微调 整个 网络 ，此 方法 取得了 最好 的分 类准 确 率。 数 据 扩 容 即 对 原 始 全 天 空 图 采 用 拉 伸、旋转 、镜 像 、切 割、改 变 纵横 比 等 方法 ，产 生新 的样 本。 采 用 数 据 扩 容 使 得 原 始 数 据 集

20、 扩 展 了 的准 确率 达到 了，比基 于 统 计学 的 传 统分 分类 结果 。研 究 还 建立 了 全 天 空 云 图 分类 平 台 ， 用户 可将 单张 或 多张 云 图 图 像 提 交 平台 ，经 过后 端运 算，返回分 类结 果。 跨入 气象领 域深 度学 习时 代的 关键 环节 毋庸 置疑 ，深 度 学习 技 术 在 气 象 领域 有 着 广 时 代 的到 来，需要优 先重 视以 下三 个关 键环 节。 建 立气象 标准 数据 集和 开放 网络 社区 年 以 来，深 度 学 习 技 术 得 以 快 速 发 展 ， 主要 取决 于三 个 方 面的 有 利 因 素：深 度 学 习 技

21、术 自身 的突 破 、更 大 的 数 据 集 以 及 等 计 算 机 硬件 能力 的 提升 。 其 中，深 度学 习 技 术 自 身 的突 破、计算 机硬件 能力 的提 升不 是我 们能 左右 的，只 有更 大的 数 据集 与 气 象 有 关。 由 此 可 以相 信 ，在 气象 领域 引入 深度 学习 技术 的最大 瓶颈 将是 适合 机器 学习 的标 准 数 据集 建 设 ，同 时 需 要 建 立 开放 网络 社区 ，吸 引更多 的爱 好者 参与 社区 交流 。 改 进创新 管理 方式 一个 值得 思考 的 现 象 是，目 前 气 象 领 域深 度 学习 的研 究与 应用 多数 是由 高校 、

22、研究 机构 、企业 等非 气象 机构 的 团 队主 导 ，这些 团 队 先 掌 握 了深 度学 习技 术，然后 把 这 项 技术 扩 展 应 用 到 了气 象 领域 ，本 文所列 举 的 三 个 前沿 应 用 都 属 于 这种 情 况。 相反 ，来 自气 象 机 构 的团 队 以 气 象 技 术为 基 础，主动 向深度 学习 技术 领域 扩展 的则 较少 ，或者 说难 度较 大。 克雷 顿 克 里斯 滕 森 （美）在 创新 者的 窘境 一 书中提 出了 “传 统业 务天 生对创 新具 有绞 杀功 能 ”的观 点 ，通 过 大 量 案 例 分析 ，作 者还 归纳 了这 种现 象 产 生的 深 层

23、 次 原 因，并 给 出 了应 对法 则 ，以 改 进 突 破 性 技 术 创 新 管 理 ，很 值 得 借鉴 。 克 服畏难 心理 具有气象 技术 背景 的人 员要 引 入深 度学 习 技 术，大多会认 为难度太大 、难以跨越 ，对深 度学习 产 生畏惧感 。事实上，近 年来深度学习 技术 发展非 常 迅速，通用学 习工具简单 易用，样 本数据 集丰富 ，操 作说明齐 全，对硬 件 的要 求降 低 到可 单 机运 行，深 度学习的 门槛 已大 大降 低。 团队 和个 人 只要 采 取 针对性措 施，克服 畏 难心 理，完 全 可以 早 日跨 越 深 度学习的 技术门槛，在 深度学习的海 洋中

24、遨游。 小结 建立 深度 学习 知识 体系 框架有 利于 从技 术层 面快 速进 入深 度学 习时 代。 本文 给出 了一个 气象 ， ， 。 ， ， ， 、 ， 。 。 （ 网 络参 数）初 始 化 前 两 层 卷 积 层 参 。 ， ， （） 陕 西 气 象 张侠，胡琳，王琦，等 年陕西气象条件对大气环境质量 影响分析 陕西气象 ， （）： ： （ ） 文章编号 年陕 西 气 象 条 件 对 大 气 环 境 质 量 影 响 分 析 张 侠，胡 琳，王 琦，杜怡心 （ 陕西 省气 候中心 ， 西 安 ） 摘 要 ：利用 年 月 日 月 日陕西省十地市空气质量资料和气象站地面观测资料 ，分析

25、了 年 月陕西省空气质量时间变化特征及影响大气环境质量的气象条件 。 结果表明 全省： 城市空气质量与 年同期相比较差， 月全省首要污染物为颗粒物（ 和 ）， 月为 臭氧。 月各市平均风速均在 以下且小风频率较高；全省冷空气活动较上年同期减少 次且强度偏弱；全省平均混合层高度与上年同期相比降低 ， ， 。与上年同期相比，平均风速小，小风 ， 。 日数增多 冷空气活动次数减少且强度 偏弱 混合层高 度偏低 是颗粒 物污染过程增多的主 要因素 标；臭氧质量浓度随日照时数增加而升高，日照时数 时，各市臭氧平均质量浓度均较高，日 照时 相比 气温偏高 日照充足 湿度减小是造成臭氧超标日增多的主要因素，

26、 ， ， 。 关键词 ：大气环境质量；气象条件；颗粒 物；臭氧 中图分类号 ： 文献标识码 ： 近年 来，城 市大 气环 境污 染问 题日 趋严 重，霾 件影 响因 素的 研 究，一 直 是 众多 学 者 关 心 的 焦点 天气 现象 增多 ，严 重威 胁 着 社 会 可 持续 发 展 和 问题 。在 大气 污 染 排放 源 稳 定 的 前 提 下，气 象条 人们 身体 健康 。对 大气 环境 污染 的特征 及气 象条 件是 影响 大气 环境 质量 的一 个主要 因素 。 国内外 收稿日期 ： ： （ ）， ， ， ， ， ， 。 作者简介 张侠 ： 女 汉族 陕西渭南人 硕士 （ 工程师 从

27、事大气环 境方面的研究 ） 基金项目 陕西省 自然科学基础研究计划项目 领域 深度 学习 的 知识 体 系 框 架 ，在 此 基 础 上 介绍 了两 种通 用深 度学 习工 具，以 及天 气系 统识 别、卫 星云 图识 别和 地基 全天 空云 图分类 等三 个基 于深 （ ， ， 度学 习的 气象 应 用，最 后 指出 了 建 立 气 象 标准 数 ， 据 集、改 进 创 新 管 理 方 式 和 克 服 畏 难 心 理 的 重 要性 。 ， ， 数 时臭氧超标率 最高；臭氧质量浓度随 日平均相对湿度的升 高而降低，当 相对湿度 时 臭氧平均质量浓度超过 当相对湿度 时 臭氧超标率 明显降低 与上年同期 ） （ ） ： 参考文献 ： （ ）（ ） ： 王舰锋 基 于卷积 神经 网络的 卫星 云量计 算 斯科特 扬 如何高 效学习程冕，译 ， ： 北京： 南京：南京信息工程大学， 机械工业出版社 ， ， ， 张振 基于深 度学 习的 全天 空云 图分 类方 法研 究 ： ， 北京 北京交通大学