(1)初学者对于spark的几个疑问 | http://aperise.iteye.com/blog/2302481 |
(2)spark开发环境搭建 | http://aperise.iteye.com/blog/2302535 |
(3)Spark Standalone集群安装介绍 | http://aperise.iteye.com/blog/2305905 |
(4)spark-shell 读写hdfs 读写redis 读写hbase | http://aperise.iteye.com/blog/2324253 |
初学者对于spark的几个疑问
- Hadoop是啥?spark是啥?
- spark能完全取代Hadoop吗?
- Hadoop和Spark属于哪种计算计算模型(实时计算、离线计算)?
- 学习Hadoop和spark,哪门语言好?
- 哪里能找到比较全的学习资料?
1 Hadoop是啥?spark是啥?
(1)先来了解下Hadoop历史渊源。
Doug Cutting是Apache Lucene创始人, Apache Nutch项目开始于2002年,Apache Nutch是Apache Lucene项目的一部分。2005年Nutch所有主要算法均完成移植,用MapReduce和NDFS来运行。2006年2月,Nutch将MapReduce和NDFS移出Nutch形成Lucene一个子项目,命名Hadoop。
Hadoop不是缩写,而是虚构名。项目创建者Doug Cutting解释Hadoop的得名:“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子恰恰是这方面的高手。”
(2)狭义的Hadoop
个人认为,狭义的Hadoop指Apache下Hadoop子项目,该项目由以下模块组成:
- Hadoop Common: 一系列组件和接口,用于分布式文件系统和通用I/O
- Hadoop Distributed File System (HDFS?): 分布式文件系统
- Hadoop YARN: 一个任务调调和资源管理框架
- Hadoop MapReduce: 分布式数据处理编程模型,用于大规模数据集并行运算
狭义的Hadoop主要解决三个问题,提供HDFS解决分布式存储问题,提供YARN解决任务调度和资源管理问题,提供一种编程模型,让开发者可以进来编写代码做离线大数据处理。
(3)广义的Hadoop
个人认为,广义的Hadoop指整个Hadoop生态圈,生态圈中包含各个子项目,每个子项目为了解决某种场合问题而生,主要组成如下图:
- Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
- Apache Hive: 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
- Apache Pig: 是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
- Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
- Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
- Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务
- Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法,解决了并行挖掘的问题。
- Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存简单格式数据,集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
- Apache Avro: 是一个数据序列化系统,设计用于支持数据密集型,大批量数据交换的应用。Avro是新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制
- Apache Ambari: 是一种基于Web的工具,支持Hadoop集群的供应、管理和监控。
- Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统,它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
- Apache Hama: 是一个基于HDFS的BSP(Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
- Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统,可用于日志数据收集,日志数据处理,日志数据传输。
- Apache Giraph: 是一个可伸缩的分布式迭代图处理系统, 基于Hadoop平台,灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
- Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上(HDFS、Pig和MapReduce)的任务。
- Apache Crunch: 是基于Google的FlumeJava库编写的Java库,用于创建MapReduce程序。与Hive,Pig类似,Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
- Apache Whirr: 是一套运行于云服务的类库(包括Hadoop),可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
- Apache Bigtop: 是一个对Hadoop及其周边生态进行打包,分发和测试的工具。
- Apache HCatalog: 是基于Hadoop的数据表和存储管理,实现中央的元数据和模式管理,跨越Hadoop和RDBMS,利用Pig和Hive提供关系视图。
- Cloudera Hue: 是一个基于WEB的监控和管理系统,实现对HDFS,MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。
从广义的角度来讲,spark是Hadoop生态圈中的一个子项目。
(4)spark历史渊源
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说, Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。
(5)spark目前项目组成
- Spark Streaming:实时流式数据处理,与之类似的有storm
- Spark SQL, DataFrames and Datasets:SQL化处理一切数据,与之类似的有hive
- Machine Learning Library:机器学习
- GraphX:图形可视化
- Bagel on Spark:谷歌公司Bagel图形处理技术,如何运行于spark
- R on Spark:R语言在spark上运用
2 spark能完全取代Hadoop吗?
个人认为,spark目前不能完全取代Hadoop,理由如下:Haoop中的分布式文件存储是spark没有的,目前能站得住脚的就只有这点了。
spark的出现是有原因的,这个得从Hadoop的编程模型mapreduce说起,mapreduce中间结果首先存储到磁盘文件,大量的IO读写会影响整个计算的耗时,而spark中间结果首先是基于内存存储,免去IO带来的性能开销。
mapreduce有这个弱点,为啥不也用内存呢?个人认为,既然都是Apache项目,spark已经解决了这个问题,那么很可能是Apache放弃了在mapreduce方面的优化,也是顺应大势所趋,没必要在mapreduce浪费时间和经历,当然这也是个人片面之词。
3.Hadoop和Spark属于哪种计算计算模型(实时计算、离线计算)?
这个首先要看你说的是哪个明确的子项目了,个人观点:
- Hadoop生态圈中子项目Apache Hadoop中的mapreduce是属于离线计算技术;
- Hadoop生态圈中子项目Apache hive本质是mapreduce,也属于离线计算技术;
- Hadoop生态圈中子项目Apache storm属于实时计算技术;
- Hadoop生态圈中子项目Apache spark中spark-shell属于离线计算技术,只不过它基于内存存储中间结果,速度上比mapreduce快很多倍,又离实时计算技术很近;
- Hadoop生态圈中子项目Apache spark中spark streaming属于实时计算技术,类似于storm;
- Hadoop生态圈中子项目Apache spark中sparkSQL属于离线计算技术,只不过它基于内存存储中间结果,速度上比hive快很多倍。
4 学习Hadoop和spark,哪门语言好?
这个问题先要看下我们用到的技术首先是用啥写的,目前,spark和kafka这两个是用基于JVM上的语言Scala实现的,而Hadoop、hbase、hive这些是用基于JVM上的语言java实现的。
所以个人认为,学习这些技术,如果要深入源代码研究和查找问题,建议首选java和Scala,最好做到精通。
那么其他语言开发者咋办,也不是不能从事大数据开发了,因为目前大数据技术方面考虑到了其他语言开发者的感受,提供多种语言支持的,这里首先推荐去学习解释型语言Python,推荐这个的另一好处是,Python使用matlib不用考虑版权问题了,但用这些非JVM语言一个缺点是,当出现了问题的时候,你拿到的一堆JVM错误信息,你可咋办???
5.哪里能找到比较全的学习资料?
就个人目前学习大数据经验来说,最全的资料还是官网了。
很多微博和视频都有介绍,包括我现在在写的微博,总体来说都比较片面,你被强迫的接受就是要这么去操作,例如Hadoop很多地方部署都写的是Hadoop1.x版本里面的namenode+secondarynamenode部署方式,很少人告诉你这是是部署方式之一,还有Hadoop2.x里面的HA部署方式;spark部署方式很多地方介绍的是单master方式,很少有地方告诉你还有基于zookeeper上的多master部署方式,而这些没有告诉你的方式在某些视频中被标榜为独门秘籍,那些老师得意洋洋的说:“来吧,交点钱,来听我的课,在我的课程里我会告诉你怎么部署spark多master方式”
相关推荐
spark相关文档
Spark 入门实战系列,适合初学者,文档包括十部分内容,质量很好,为了感谢文档作者,也为了帮助更多的人入门,传播作者的心血,特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建....
1、实验环境: ...(1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数; 图3 spark统计行数 (2) 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”
spark 奠基者博士论文 帮助初学者更好理解spark的理论思想
涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等,并且结合Spark源码细致的解析了Spark内核和四大...
Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql),总结的很全面。 Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql)。 Spark零基础思维导图(内含spark-core ,spark-streaming,...
Spark集群及开发环境搭建,适合初学者,一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建(hadoop用户下)...
这个项目在SparkSQL和Catalyst引擎之外实现了一套扩展的,为TiDB定制的SQL前端(Parser,Planner和优化器):它了解TiDB如何组织数据,并知晓如何借助TiDB本身的计算能力加速查询,而不仅仅是一个Connector。...
【Spark亚太研究院系列丛书】Spark实战高手之路-第1章(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第1章(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-第1章(3) 【Spark亚太研究院系列丛书】Spark...
Spark-Core文档是本人经三年总结笔记汇总而来,对于自我学习Spark核心基础知识非常方便,资料中例举完善,内容丰富。具体目录如下: 目录 第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark...
本书附带的一键安装脚本,更能为初学者提供很大帮助。 【电子版来自互联网,仅供预览及学习交流使用,不可用于商业用途,如有版权问题,请联系删除,支持正版,喜欢的 请购买正版书籍: ...
Apache Spark 3-适用于初学者的Python Spark编程这是与Apache Spark 3相关的所有材料的中央存储库-适用于初学者的Python中的Spark编程课程由Prashant Pandey撰写。 您可以在获得完整的课程描述我正在创建Apache ...
本资料是集合20篇知网被引最高的基于spark的大数据论文,包括大数据Spark技术研究_刘峰波、大数据下基于Spark的电商实时推荐系统的设计与实现_岑凯伦、基于Spark的Apriori算法的改进_牛海玲、基于Spark的大数据混合...
Spark大数据分析技术,是一本为Spark初学者准备的书,没有过多深入实现细节,而更多关注上层用户的具体用法。尝试把spark应用到实践中,去探寻数据海洋里的无尽瑰宝。主要内容如下: 1)Spark数据分析导论 2)Spark...
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件,完成以下设置: 1. 设置运行master进程的节点, e
【Spark亚太研究院系列丛书】Spark实战高手之路-第1章(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第1章(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-第1章(3) 【Spark亚太研究院系列丛书】Spark...
我们谈大数据性能调优,到底在谈什么,它的本质是什么,以及 Spark 在性能调优部份的要点,这两点让在进入性能调优之前都是一个至关重要的问题,它的本质限制了我们调优到底要达到一个什么样的目标或者说我们是从...
1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoop and Spark 可以看出在Spark特别擅长的领域其速度比Hadoop快120倍以上! ...
spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...
1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战....