博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
谁在听不懂大数据算我输——大数据核心技术spark
阅读量:3925 次
发布时间:2019-05-23

本文共 649 字,大约阅读时间需要 2 分钟。

上次,小编给大家介绍什么是大数据以及大数据产生的五大原因!

那,大数据来了,作为程序员的我们如何迎接大数据的到来?

那便只有学好大数据,其中的重中之重我觉得就是spark ,那什么是spark呢?或者说Spark是干嘛的

我总结出四点:

1、Spark分布式的计算框架

2、类似Hadoop生态圈中的MapReduce(分布式计算框架)

3、计算思想和MR(MapReduce简称)非常的相似,都是分而治之的思想

4、Spark比MR火

为什么Spark比MR火呢?就是因为spark的优势所在

1、Speed 速度很快

从时间上来看,Spark计算效率比MR要高100倍以上

2、使用方便

1)支持使用多门语言来编写Spark Application

2)Spark提供了80多种方法来供我们使用

3、强通用性

Spark生态圈中的组件都是基于SparkCore封装起来

庞大的生态圈并且还能无缝集成

4、强适用性

1)Spark Application可以运行在各种各样的资源调度框架上

2)Spark可以接受上百种数据源

spark的现状

官网介绍,到2016年底,有1000多家组织机构正式使用Spark做数据处理。到现在Spark的发展也是如火如荼,到现在好多组织也是从MR往spark转。

有什么意见大家可以在评论区留言哦!需要spark视频版本的可联系小编。

另外,小编也整理出一份大数据完整学习路线,包括视频资料和课件,有需要的小伙伴可以私信我免费领取哦!给自己指明一个方向!!!

转载地址:http://bekgn.baihongyu.com/

你可能感兴趣的文章
Leetcode 111. 二叉树的最小深度
查看>>
Leetcode 226. 翻转二叉树
查看>>
Leetcode 617. 合并二叉树
查看>>
Leetcode 654. 最大二叉树
查看>>
Leetcode 304. 二维区域和检索 - 矩阵不可变
查看>>
Leetcode 45. 跳跃游戏 II
查看>>
模式2. 工厂方法模式-Java
查看>>
模式1. 简单工厂模式-Java
查看>>
模式6.原型模式-Java
查看>>
Leetcode 146. LRU 缓存机制
查看>>
Leetcode 208. 实现 Trie (前缀树)
查看>>
Leetcode 1114. 按序打印
查看>>
kill -15、kill -9 与 kill
查看>>
剑指 Offer 05. 替换空格
查看>>
剑指 Offer 06. 从尾到头打印链表
查看>>
模式9.建造者模式-Java
查看>>
模式11. 抽象工厂模式-Java
查看>>
模式10. 观察者模式-Java
查看>>
剑指 Offer 09. 用两个栈实现队列
查看>>
模式12.状态模式-Java
查看>>