《数据挖掘读书笔记(共3页).docx》由会员分享，可在线阅读，更多相关《数据挖掘读书笔记(共3页).docx（3页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、精选优质文档-倾情为你奉上数据挖掘：概念与技术（1-6章）读书笔记一、 数据挖掘概念（即什么是数据挖掘）我们生活在数据时代，各行各业每天都产生巨大的数据。数据的爆炸式增长、广泛可用和巨大数量使得我们的时代成为真正的数据时代。急需功能强大和通用的工具，以便从海量数据中发现有价值的信息，把这些数据转换成有组织的、可利用的知识。这种需求导致了数据挖掘的诞生。数据挖掘实际上是从数据中挖掘知识，由以下步骤的迭代组成：(1) 数据清理（消除噪声和删除不一致数据）(2) 数据集成（多种数据源可以组合在一起）(3) 数据选择（从数据库中提取与分析任务相关的数据）(4) 数据变换（通过汇总或聚集操作，把数据变换
2、和统一成适合挖掘的形式）(5) 数据挖掘（基本步骤，使用智能方法提取数据模式）(6) 模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式）(7) 知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）关系数据库是数据挖掘最常见、最丰富的信息源，因此它是我们数据挖掘研究研究的一种主要数据形式。二、 数据挖掘技术（即怎样进行数据挖掘）1、 可以挖掘什么类型的模式特征化与区分、频繁模式、关联和相关性挖掘，分类与回归，聚类分析，离群点分析。数据挖掘可以被用来进行市场分析和管理、风险分析和管理、缺陷分析和管理等。2、使用什么技术1)首先要认识数据，一个数据对象代表一个实体，又称样本、实例、数
3、据点或对象。属性是一个数据字段，表示数据对象的一个特征，又称维、特征和变量。2)数据描述中心趋势度量：均值、中位数和众数度量数据散布：极差、四分位数、方差、标准差和四分位数极差通过基于像素的可视化技术等清晰有效的表达数据3)进行数据预处理，包括数据变换与数据离散化。数据变换策略：光滑、属性构造、聚集、规范化、离散化、由标称数据产生概念分层数据离散化策略：分箱、直方图分析、聚类决策树和相关分析4) 然后需要建立数据仓库进行处理，数据仓库：是一种数据库，它允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库的构建需要数据集成、数据清洗和数据统一。5)联机分
4、析处理可以，在使用多维数据模型的数据仓库或数据集市上进行，使用数据立方体结构，OLAP操作可以有效的实现。数据立方体计算的一般策略： 排序、散列和分组 同时聚集和缓存中间结果 当存在多个子女方体时，由最小的子女聚集 可以使用先验剪枝方法有效的计算冰山立方体数据立方体计算方法： 多路数组聚集，基于稀疏数组的、自底向上的、共享计算的物化整个数据立方体BUC，通过探查有效的自顶向下计算次序和排序计算冰山立方体Star-Cubing,使用星树结构，集成自顶向下和自底向上计算，计算冰山立方体外壳片段立方体，通过仅预计算划分的立方体外壳片段，支持进行高维OLAP 6）挖掘频繁模式和关联规则频繁项集挖掘方法：Apriori算法（通过限制候选产生发现频繁项集），由频繁项集产生关联规则，提高Apriori算法的效率，挖掘频繁项集的模式增长方法，使用垂直数据格式挖掘频繁项集，挖掘闭模式和极大模式专心-专注-专业