《spark初识-精品文档资料整理.pdf》由会员分享,可在线阅读,更多相关《spark初识-精品文档资料整理.pdf(10页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Spark 初始初始讲师:陈博400-009-400-009-1906 Spark是什么是什么 Whats Spark? Apache Spark is an open source cluster computing system that aims to make data analytics fast both fast to run and fast to 400-009-1906 BDAS The Berkeley Data Analytics S400-009-1906 搞搞定所有定所有 One stack rule them all !400-009-1906 回回顾顾hadoo
2、p Spark 相比 hadoop历史 发展尤为迅速 Spark 5年时间 Hadoop历史 10年时间400-009-1906 回回顾顾400-009-1906 Hadoop的共享数据慢的共享数据慢 为什么慢?额外的复制,序列化,磁盘IO开销400-009-1906 Spark的共享数据快的共享数据快 快只是因为内存计算?当然还有DAG400-009-1906 Spark API 支持3种语言的API Scala(很好) Python(不错) Java(.)400-009-1906 通过哪些模式运行通过哪些模式运行Spark呢呢 有4种模式可以运行 Local多用于测试 Standalone Mesos YARN最具前景