《Vertica4.1架构概述.ppt》由会员分享，可在线阅读，更多相关《Vertica4.1架构概述.ppt（35页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Vertica 4.1架构概述Vertica 培训 2011年8月17日2Vertica是什么?标准分布式关系数据库标准分布式关系数据库 MPP标准界面标准界面（SQL-结构化查询语言、结构化查询语言、JDBC-Java数据库数据库连接、连接、ODBC-开放式数据库连接、开放式数据库连接、ADO.NET）完全事务型（完全事务型（ACID：原子性原子性-Atomicity、一致性、一致性-Consistency、隔离性、隔离性-Isolation、持久性、持久性-Durability）多用户、多链接多用户、多链接3MPP具有独特创新设计的纵列式数据库管理系统标准标准SQL界面界面本地高可用本地高
2、可用性性自动数据库自动数据库设计设计高级压缩高级压缩纵列导向纵列导向MPP海量并行处海量并行处理理提高BI、ETL、Hadoop/MapReduce和OLTP的投资效益自动设置、优化、数据库管理内置式冗余可提高查询速度基于低成本X86 Linux节点的本地数据库感知集群通过12+算法获得高达90%的空间节余无磁盘输入输出瓶颈，可同时进行加载和查询性能优于传统RDBMS的10-100倍从TBs至PBs的高扩展性 与现有ETL和BI解决方案可轻松整合在现有硬件平台上具有超高性能极高的配置灵活性4纵列导向Vertica可在各纵列的磁盘上对数据进行智能化组织从磁盘上仅仅读取查询涉及到的纵列，而不是在传
3、统数据库管理系统中读取所有的行与列以大号黑体字进行读和写在引擎中纵列层面上迭代操作员适用于高强度的加载与读取工作，可大幅减少内存与磁盘输入输出 AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/095/05/095/06/095/05/095/06/09143.74143.75 37.03 37.13 AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/0
4、9 BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09 BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09选择选择均价自自划勾存储位置位置符号=AAPL”日期=5/06/09纵列存储纵列存储-读取3列原始存储原始存储-读取全部纵列NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQD
5、S NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQD
6、S NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYS
7、E NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS AAPLAAPLBBYBBY5标准SQL界面与现有与现有BI（商务智能）以及（商务智能）以及ETL（数据抽取转换及加载）工具轻松无缝地整合并提升配置速度（数据抽取转换及加载）工具轻松无缝地整合并提升配置速度Vertica 数据库支持SQL（结构化查询语言）、ODBC（开放数据库连接）、JDBC（JAVA数据库连接）和多数ETL（数据抽取转换及加载）以及BI（商务智能）报告等产品提升现有投资价值
8、同时降低提升现有投资价值同时降低TCO（总体拥有成本）（总体拥有成本）SQL,ODBC,JDBC,ADO.net海量与微量加载海量与微量加载ETL、复制与数据质量、复制与数据质量分析、报告分析、报告6本地高可用性数据库内类似独立磁盘冗余阵列（数据库内类似独立磁盘冗余阵列（RAID）的功能）的功能对推算进行组织，当一个节点发生错误时，则立即在存活节点上生成一个副本在不同种类查询命令中自动存储冗余数据，同时提高性能无需手动进行基于日志的恢复无间断查询与加载无间断查询与加载当节点发生故障时系统持续进行加载与查询通过询问其它节点对缺失数据进行恢复A3B3C3A2B2C2B1A1C1B2A2C2B1A1
9、C1A3B3C3A1B1C1B3A3C37Vertica 数据库设计者推荐使用一种物理数据库设计，为用户的查询需求提供最佳性能数据库设计者推荐使用一种物理数据库设计，为用户的查询需求提供最佳性能最大限度减少数据库管理员花费在物理数据库调试上的时间具有重新设计增值型数据库的功能，根据因时间而改变的工作量进行优化具有重新设计增值型数据库的功能，根据因时间而改变的工作量进行优化在Vertica数据库配置之前或之后运行对于工作量变化反应快速后台程序任何时候均可即时运行自动数据设计ABA(A B C|A)(B A C|B A)BCC物理模型，并且进行压缩物理模型，并且进行压缩令样本集中查询命令快速运行令
10、其符合微量加载的要求确保所有SQL查询能得到解答数据库设计者生成数据库设计者生成数据库管理员提供数据库管理员提供逻辑模型逻辑模型生成表格以下样本集以下样本集典型查询样本数据K级安全水平级安全水平8编码机制编码机制准时解码准时解码高级压缩Vertica通过积极压缩用高速通过积极压缩用高速CPU周期代替慢速的磁盘输入输出周期代替慢速的磁盘输入输出利用数据诸如排序与基数之类的属性无需提前解码即可进行操作可大范围跨排运行实施后期实体化最迟原则下的智能解码引擎：引擎：编码块编码块网络：编码网络：编码块块+可选可选LZO交易日期客户注册号 交易5/05/20095/05/20095/05/20095/05
11、/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/2009000000100000010000003000000300000050000011000001100000200000026000005000000510000052Few valuessorted5/05/2009,16RLE000000102241010192549DeltaValMany valuesinteger原始数据压缩数据磁盘：编码磁盘：编码+压缩压缩Many Others结果结果100.25302.43991.2373.45134.09843
12、.11208.13114.2983.0743.98229.76Many distinct valuesLZOp:+H&Ya?50J9并行设计促进了数据推算，实现了分布式存储和工作量并行设计促进了数据推算，实现了分布式存储和工作量“主动”冗余自动复制、故障切换与恢复无共享、基于网格的数据库结构提供商品硬件集群上的高可扩展性无共享、基于网格的数据库结构提供商品硬件集群上的高可扩展性增加节点可获得最高的容量及性能数据中心成本越低，密度和扩展性越高 海量并行处理（MPP）客户网络客户网络私人数据网络私人数据网络1+TB1+TB1+TBNode 12 Quad Core16+GB RAMNode 22
13、Quad Core16+GB RAMNode 32 Quad Core16+GB RAM节点均对等节点均对等无专用节点所有节点都是对等的可向任意节点查询/加载持续的、实时的加载与查询10Vertica 构架的优势基于纵列的存储基于纵列的存储海量并行处理海量并行处理(MPP)高级压缩功能高级压缩功能具有自动恢复功能的内置式容错具有自动恢复功能的内置式容错实时分析实时分析同时进行高速加载与查询同时进行高速加载与查询Vertica内部组织推算12推算表格具有逻辑性表格具有逻辑性推算具有物理性推算具有物理性n数据需要存储、排列和压缩数据需要存储、排列和压缩n冗余副本可优化为不同的查询组冗余副本可优化为
14、不同的查询组=sort columnsTable“foo”:逻辑性逻辑性物理性物理性(A B C|A)ABC(B A C|B A)BAC(C A|C)CAABCProjections“foo_p1”,“foo_p2”,“foo_p3”:13推算的基础经过优化的物理存储经过优化的物理存储n基础表格未被存储基础表格未被存储n物理设计对终端用户是透明的物理设计对终端用户是透明的n数据以排序整理和压缩后的模式进行存储数据以排序整理和压缩后的模式进行存储n无需索引（纵列可自行索引）无需索引（纵列可自行索引）n不存在不存在“表格扫描表格扫描”之类功能，只有之类功能，只有“纵列扫描纵列扫描”n优化为通用查询
15、格式优化为通用查询格式n对于查询的最佳推算由优化器在查询执行时段进行对于查询的最佳推算由优化器在查询执行时段进行选择选择14推算的基础：维护无争议维护无争议维护n数据直接载入推算中数据直接载入推算中n无需重建无需重建/刷新刷新n动态增加新的推算动态增加新的推算n数据库设计者建议在模型、数据和查询工作量基础数据库设计者建议在模型、数据和查询工作量基础上进行优化推算上进行优化推算15推算与高可用性从一项超级推算开始从一项超级推算开始 一份完整的数据副本一份完整的数据副本复制数据至分支推算复制数据至分支推算n分支推算可通过不同方式进行优化分支推算可通过不同方式进行优化将每项推算分割为不同行组将每项推
16、算分割为不同行组将分割部分分配至数据库节点将分割部分分配至数据库节点推算分支推算Buddy ProjectionProjection16create projection snmp_p1(host encoding rle,if encoding rle,time encoding commondelta_comp,metric encoding rle,value encoding multialgorithm_comp)asselect host,if,time,metric,valuefrom snmporder by host,if,metric,timesegmented by ha
17、sh(host,if,time,metric)all nodes;创建推算DDL（数据定义语言）基础查询（可增加）排序次序分割纵列表格与编码17Vertica数据库设计者建议使用一种物理式数据库设计，可为终端客户的查询需求提供最佳的性能数据库设计者建议使用一种物理式数据库设计，可为终端客户的查询需求提供最佳的性能 最大限度减少数据库管理员花费在物理数据库调试上的时间具有重新设计增值型数据库的能力，根据因时间而变化的工作量进行优化具有重新设计增值型数据库的能力，根据因时间而变化的工作量进行优化在Vertica数据库配置之前或之后运行对于工作量变化反应快速后台程序任何时候均可即时运行自动设计与管理
18、数据库管理员提供数据库管理员提供逻辑模型逻辑模型生成表格以下样本集以下样本集典型查询S样本数据K级安全水平级安全水平ABA(A B C|A)(B A C|B A)BCC物理模型，并且进行压缩物理模型，并且进行压缩令样本集中查询命令快速运行令其符合微量加载要求确保所有SQL查询能得到解答数据库设计者生成数据库设计者生成18推算总结推算推算n是经过编码和压缩并按照某种次序进行排序和分割的纵列集是经过编码和压缩并按照某种次序进行排序和分割的纵列集合合n在数据加载过程中自动进行维护在数据加载过程中自动进行维护n可存储多种推算，针对不同查询进行调整可存储多种推算，针对不同查询进行调整多种推算的高可用性（
19、多种推算的高可用性（k级安全性）级安全性）n当节点缺失，优化器可动态进行查询规划当节点缺失，优化器可动态进行查询规划n通过查询其它节点进行自动节点恢复通过查询其它节点进行自动节点恢复自动数据库设计自动数据库设计n数据库被存储于经过排序、编码和压缩的推算中数据库被存储于经过排序、编码和压缩的推算中n无需繁复的表格空间调试、分隔、索引、设计和更新、无需繁复的表格空间调试、分隔、索引、设计和更新、MVs 就在基础表格的顶端就在基础表格的顶端Vertica内部组织分布式查询执行20Vertica查询执行的基础SQL 查询的写入是针对表格的查询的写入是针对表格的n从从fact中选择中选择count(*)
20、Vertica将查询转化为针对推算的执行将查询转化为针对推算的执行n从从 fact_p1中选择中选择count(*);查询优化器选择最优的查询规划查询优化器选择最优的查询规划n为查询选择最佳推算为查询选择最佳推算n选择一项可执行选择一项可执行“加入加入”、“查询推算查询推算”等任务的命等任务的命令令n成本最低的查询规划将被选定进行查询成本最低的查询规划将被选定进行查询21查询规划样本查询规划：查询规划：访问路径：+-GROUPBY HASH Cost:34,Rows:2|Aggregates:sum_float(customer.age),count(customer.age),count(*
21、)|Group By:customer.state,customer.name|+-STORAGE ACCESS for customer Cost:33,Rows:2|Projection:public.customer_p1|Materialize:customer.state,customer.age,customer.name|Filter:(customer.gender=M)|Filter:(customer.state=ANY(ARRAYMA,NH)查询：查询：select name,state,avg(age),count(*)from customer where state
22、 in(MA,NH)and gender=M group by state,name;22查询执行工作流程客户连接节点并发出查询指令客户连接节点并发出查询指令n客户连接的节点成为起始节点客户连接的节点成为起始节点n集群中其它节点成为执行节点集群中其它节点成为执行节点起始节点对查询进行分析并选择一项执行规划起始节点对查询进行分析并选择一项执行规划起始节点将查询规划分配至执行节点起始节点将查询规划分配至执行节点select count(*)from fact;起始节点执行节点执行节点 23查询执行工作流程所有节点均在当地执行查询规划所有节点均在当地执行查询规划执行节点将部分查询结果发回到起始节点执
23、行节点将部分查询结果发回到起始节点起始节点将所有节点的结果进行汇总起始节点将所有节点的结果进行汇总起始节点将最终结果返回给用户起始节点将最终结果返回给用户执行节点 执行节点起始节点select count(*)from fact;310341010Vertica内部组织事务处理与锁定25Vertica事务处理事务处理事务处理n运算的顺序、以运算的顺序、以COMMIT（确认提交）或者（确认提交）或者ROLLBACK（回（回滚）结束滚）结束n提供数据库运算的原子性和隔离性提供数据库运算的原子性和隔离性事务起源事务起源n用户事务用户事务隐秘的或明显的（事务起始）隐秘的或明显的（事务起始）n内部内部V
24、ertica事务处理事务处理初始化初始化/停机停机恢复恢复数组移动：合并与移出数组移动：合并与移出26Vertica 事务处理模式所有改变均是为了生成新的文件所有改变均是为了生成新的文件所有文件均无法原地更新所有文件均无法原地更新WOS完结阶段插入、删除、更新与最近查询I历史查询（无锁）目前阶段在数据操作语言（DML）提交上目前阶段即高级阶段最近阶段（无锁）久远的历史标记27Vertica 事务处理模式的优点 读与写之间不存在争议读与写之间不存在争议n一旦文件被写入磁盘，就不可能再次写入一旦文件被写入磁盘，就不可能再次写入n被删除的数据将被标记为已删除，不会被立即移除被删除的数据将被标记为已删
25、除，不会被立即移除n更新与删除的模式相同，此外还有插入更新与删除的模式相同，此外还有插入n如需回滚，只要将未完成的文件丢弃即可如需回滚，只要将未完成的文件丢弃即可n优点：不需要撤销日志优点：不需要撤销日志由由K级安全性带来的持久性级安全性带来的持久性n所有数据被冗余存储在多个节点上所有数据被冗余存储在多个节点上n通过查询其它节点进行数据恢复通过查询其它节点进行数据恢复n优点：不再需要重建日志优点：不再需要重建日志简单简单/轻量级确认提交及协议书轻量级确认提交及协议书28事务处理的隔离层面读操作提交（默认）读操作提交（默认）n其它事务一旦发生变化便可发现其它事务一旦发生变化便可发现n轻量级锁定轻
26、量级锁定数据选择不需锁定数据选择不需锁定序列化序列化n你的事务成为系统中的唯一事务，你无法看到其他你的事务成为系统中的唯一事务，你无法看到其他人的事务变化人的事务变化n从锁定的角度看代价很高，经常导致阻碍其他人的从锁定的角度看代价很高，经常导致阻碍其他人的事务或者他们的事务阻碍你事务或者他们的事务阻碍你行为方式与其它数据库是一致的行为方式与其它数据库是一致的29事务的隔离层面与锁定表格层面锁定表格层面锁定锁定类型（用户事务）锁定类型（用户事务）n共享不可在读操作提交模式中使用不可在读操作提交模式中使用序列模式中读（选择）时必需序列模式中读（选择）时必需n插入写入时必需（插入、复制）写入时必需（
27、插入、复制）n专用专用删除删除/更新时必需更新时必需同时进行加载与查询，无锁定争议同时进行加载与查询，无锁定争议n在读操作提交模式中在读操作提交模式中SIX冲突图表Vertica内部组织混合型数据存储：ROS与WOS31混合型数据存储：ROS与WOSROS 磁盘式优化数据存储磁盘式优化数据存储WOS 面向低延时数据载入的内存式数据存储面向低延时数据载入的内存式数据存储异步数据迁移数组移动数组移动 磁盘式 已排序/已压缩 已分割大量数据直接载入(A B C|A)ABC写优化存储写优化存储(WOS)内存式未排序/未压缩已分割低延时/少量快速插入读优化存储读优化存储(ROS)排序数据32数组移动-移
28、出频繁载入频繁载入WOS，几秒钟内数据即可查询，几秒钟内数据即可查询移出过程与数据移动到移出过程与数据移动到ROS的过程是异步的的过程是异步的IBM 60.25 10,000 1/15/2006MSFT 60.53 12,500 1/15/2006 IBM 60.19 7,100 1/15/2006NFLX 28.29 25,000 1/16/2006IBM,1 60.25 10,000 1/15/2006,2 0.53 13,500 1/16/2006,1MSFT,2 62.29 11,000NFLX,1 28.29 25,000 1/16/2006,1写优化原始存储写优化原始存储(WOS)
29、异步数据迁移数组移动数组移动读优化纵列式存储读优化纵列式存储(ROS)IBM,2 60.25 10,000 1/15/2006,2 MSFT,1 60.53 12,500 1/15/2006,1 60.19 7,100 NFLX,1 28.29 25,000 1/16/2006,1Sorted Data33数组移动合并合并就是将合并就是将ROS的多个存储容器结合起来以减少存储残片的多个存储容器结合起来以减少存储残片IBM,1 60.25 10,000 1/15/2006,2 60.53 13,500 1/16/2006,1MSFT,2 62.29 11,000NFLX,1 28.29 25,0
30、00 1/16/2006,1写优化原始存储写优化原始存储(WOS)异步数据迁移数组移动数组移动读优化纵列存储读优化纵列存储(ROS)IBM,2 60.25 10,000 1/15/2006,2 MSFT,1 60.53 12,500 1/15/2006,1 60.19 7,100 NFLX,1 28.29 25,000 1/16/2006,1 IBM,3 60.19 7,100 1/15/2006,4 60.25,2 10,000,2 MSFT,3 62.29 11,000 60.53,2 12,500 13,500 1/16/2006,2NFLX,2 28.29,2 25,000,2Sort
31、ed Data34实时分析微量载入微量载入对大量数据进行实时分析对于对大量数据进行实时分析对于Vertica分析数据库来说已成为现实分析数据库来说已成为现实混合型存储结构实现了低延时载入事务处理模式和异步数组移动的行为模式实现了同步载入/查询Vertica获得了非常低的数据延迟水平（以妙计）以及完整的关联菜单（具体历史的存储年获得了非常低的数据延迟水平（以妙计）以及完整的关联菜单（具体历史的存储年份）份）Vertica支持数百位用户同时操作，查询可在数秒内运行完成支持数百位用户同时操作，查询可在数秒内运行完成 完结阶段插入、删除、更新与最近查询I历史查询（无锁）目前阶段一致认为目前阶段即高级阶段（用户认定）最近阶段事务事务加载加载异步数据迁移数组移动数组移动 磁盘式 已排序/已压缩 已分割大量数据直接载入(A B C|A)ABC写优化存储写优化存储(WOS)内存式未排序/未压缩已分割低延时/少量快速插入读优化存储读优化存储(ROS)35提问?如需了解详情，请登录索取如需了解详情，请登录索取nVertica产品资料产品资料n培训资料培训资料n知识库知识库nVertica技术支持技术支持()nVertica培训培训()