《2022年2022年列存储数据库技术与图书馆共享域建设 .pdf》由会员分享，可在线阅读，更多相关《2022年2022年列存储数据库技术与图书馆共享域建设 .pdf（8页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、列存储数据库技术与图书馆共享域建设摘 要传统图书馆各类应用软件平台的数据库大多为行存储模式的关系型数据库，真正运用以海量存储、高可靠性为特征的具备列（云）存储技术的比较少。本文以分析列存储技术特点为出发点，结合图书馆共享域建设的技术需求，提出与搭建开源数据库平台：hbase，讨论该平台在未来图书馆共享域建设中可以发挥重要的作用。关键词列存储数据库；云存储；共享域中图分类号. 文献标识码文章编号（）column oriented database systems and library consortiagao jianzhong （library，xian jiaotong universit
2、y，xian 710049，china ） the traditional library database of most kinds of application software platform is rdbms with row storage model,the column(cloud)storage technology with mass storage,high reliability rarely used here.based on analysis of the column storage technology,combined with the technolog
3、y needs of the library consortia,proposed and built the open source database platform:hbase,to discuss the platform can play an important role in the construaciton of library 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 8 页 - - - - - - - - - consortia. column
4、-oriented database;cloud storage;consortia 列存储的概念与背景知识列存储的思想早在1985 年 acm的 sigmod 会议上 george p.copeland 和 setrag khoshafian就在文章“ a decomposition storage model” 中对列存储进行了比较详细的介绍，它提出了“分解存储模型”（dsm ，decomposition storage model） ，dsm将关系垂直分为 n 个子关系，相同属性的值存储在一起，属性仅当需要时才加以存取访问。 而 sybase 在 2004年左右推出了列存储的sybase
5、 iq数据库系统，主要用于在线分析、数据挖掘等查询密集型应用。2005 年 michael stonebraker在 vldb 上发表文章“ one size fits all:an idea whose time has come and gone” 指出随着时代发展，一种数据库可以统一所有应用的日子已经一去不复返，未来商业数据库市场将分裂为各种独立的数据库引擎的集合。同年，他开发出一种列存储的数据库原型系统c-store 。 c-store在优化查询、包含重复映射、利用密集压缩减少存储容量和分布式处理等方面有很大创新。特别是在查询性能上远远优于传统行存储数据库。综上所述，可对列存储作以下定
6、义：列存储是一种将数据库表的所有记录中相同字段的数据聚合存储的方式，并通过表中的列来存名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 8 页 - - - - - - - - - 储与访问数据。 列存储存储模型、技术特点与应用范畴. 行存储与列存储模型比较由上图可见行存储是将数据组织成多行，这样可在操作中找到所有的列。缺点是操作时必须每次处理一整行，而不是只处理需要的列。优点是在处理相同对象的两列或多列查询时能够取得较快的速度，同时可提高更新、插入和删除速度。列存储是将数据
7、组成多列存储在物理空间上，这样在查询对象少数列的时候可以显著提高查询速度，因为不需要一行行去读取对照从而找到需要的列。缺点是在对象需要频繁执行多列更新、插入和删除时速度不及行存储。. 行列存储技术特点比较存储类型特点数据存储数据读取数据压缩行存储数据按行存储表中每行记录的所有属性在物理空间上存储在一起查询时i/o负载对于行中所有记录，采用统一的压缩方式列存储数据按列存储，表中同一属性在同一列i/o数据类型一致、特征相似高效压缩列存储数据库技术与图书馆共享域建设. 两种存储方式的特点与应用范畴比较表行列存储特征与应用项 目 oltpolap应用特征事务型，以更新、编辑、删除为主查询、复杂分析单个
8、查询时间毫秒级分钟到小时名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 8 页 - - - - - - - - - 数据模型三范式多维模型查询涉及字段所有字段个别字段图书馆共享域：概念、服务平台设计与实现的技术要求. 共享域概念及 calis中心共享域涵义与定位calis管理中心的三期项目规划中提出项目服务的设计原则、政策、主要技术，并明确提出图书馆共享域的概念及实现平台。共享域服务可以理解为calis中心为提高原有文献三级服务模式的灵活性，满足各成员馆个性化文献服图 c
9、alis共享域平台架构务需求，推出的一种精细化信息服务模式，是原有文献信息服务的枢纽与有力补充。共享域是指多个图书馆（文献服务机构）为开展某项共建共享活动按照区域、学科而组成的合作联盟，达到彼此协作、共享资源和服务的目标。 calis共享域是由多个 calis成员馆，基于 calis共享体系和相关业务规范、应用软件等，按照自愿、平等、互惠、共享的原则，建立的馆际合作组织。calis三期项目规划中针对calis共享域服务机制、 共享域支持方案、共享活动内容及共享域中心建立流程作了明确说明。calis共享服务机制主要包含两类服务模式：中心系统模式和本地系统模式。calis对共享域的支持方案：免费提
10、供各类saas 系统使用权、运维服务、技术指导与培训，提供各类数据、资源、文献信息共享渠道。. calis共享域服务平台体系结构与技术要求名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 8 页 - - - - - - - - - calis共享域服务实际上就是同一地域、相似类型或为共享某一具体的项目活动信息的成员馆之间形成图书馆联盟，彼此共享资源、提供服务。图 共享域服务体系结构上图为共享域服务体系结构，共享域平台的技术支持核心还是存储系统与数据库系统。该平台既有中心集中
11、式服务模式，也有各成员馆分布式服务模式。既然是多个图书馆联盟，甚至是全国图书馆联盟，海量数据资源的可能性很大，而且用户类型多样，因此对共享域应用软件的查询效率要求较高。这两点需求正式列存储的技术优势。 基于列存储的共享域存储原型系统设计与实现（以图书馆学位论文管理系统为例） .存储架构该存储结构的架构以apache开源项目 hadoop 为应用平台，在 3台物理机或虚拟机搭建hadoop 0.20 云存储平台：1 台为 namenode ，另外 2 台作为 datanode，构成分布式存储系统。将 hbase1 的 ssh 公钥拷贝到另外两台主机的authorizedkeys中， 在将 hba
12、se2和 hbase3 的 ssh 公钥拷贝到 hbase1的 authorizedkeys 中，使 namenode和两台 datanode 之间可以不需密码即可互相访问。（）下载 hadoop 0.20 内核，修改 hadoop配置文件，在 slaves名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 8 页 - - - - - - - - - 文件中加入 hbase2、hbase3。修改 core-site.xml：格式化 namenode之后，启动 hadoop，可
13、以在 192.168.0.1:50070查看 hadoop分布式文件系统的结构，如图。. 结构化数据在列存储原型系统中的存储与管理使用 hbase 的 api 存储，编写代码向基于列存储的数据存储原型系统中存储数据， 以下为在 hbase 中创建数据表 papers，并插入一行数据的代码。新建一个表；system.out.println(create table); htabledescriptor tabledescripter=new htabledescriptor(papers .getbytes();表名为 papers；tabledescripter.addfamily(new h
14、columndescriptor(stuno: ); 图 分布式文件系统结构加入列族 stuno:; tabledescripter.addfamily(new hcolumndescriptor(name:); 加入列族 name:; tabledescripter.addfamily(new hcolumndescriptor(title:); 加入列族 titile:; tabledescripter.addfamily(new hcolumndescriptor(department: ); 加入列族 department:; admin.createtable(tabledescri
15、pter); 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 8 页 - - - - - - - - - 添加一行数据 ; system.out.println(add papers data ); batchupdate paperupdate=new batchupdate(paper); paperupdate.put(paperno: ,writables.getbytes(new intwritable(1); paperupdate.put(paperno:s
16、tuno ,writables.getbytes(new intwritable(3206643025); paperupdate.put(paperno:name,writables.getbytes(new intwritable(gao jianzhong); paperupdate.put(paperno:title,writables.getbytes(new intwritable(分面检索在图书馆应用研究与实现); paperupdate.put(paperno:department ,writables.getbytes(new intwritable(computer sci
17、ence); mit(paperupdate); 列存储应用前景与不足列存储技术作为一种新型存储技术，在稳定性和性能上还存在较大的提升空间。在与传统关系数据库的行存储系统的对比中，列存储在可伸缩性、稀疏性上都体现了较好的性能。随着数据规模的增长，列存储的查询时间只是线性增长，并无额外开销。图书馆共享域建设核心技术应该是平台建设，平台建设的关键技术还是存储和数据库。随着列存储技术的不断完善与发展，在未来图书馆共享域建设中必将占有一席之地。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第
18、7 页，共 8 页 - - - - - - - - - 参考文献 copeland gp,khoshafian sn.a decomposition storage model .proceedings of the 1985 acm,1985. stonebraker m,uur etintemel.“one size fits all”:an idea whose time has come and gone .proceedings of the 31st vldb conference,2005. stonebraker m,abadi dj,batkin a,chen xd,et al.c-store:a column-oriented dbms.in vldb.pages 553-564.2005 .proceedings of the 31st vldb conference,2005. 陈凌 .calis共享域服务设计与实现 http: ，2011-10-15 王文清： calis数字图书馆云服务平台与资源整合 http: 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 8 页 - - - - - - - - -