java大数据python
查看: 959|回复: 28

Spark内核解读 41讲Spark内核全面掌握大数据视频教程

[复制链接]

202

主题

212

帖子

8000

积分

超级版主

Rank: 8Rank: 8

积分
8000
发表于 2018-8-30 14:26:48 | 显示全部楼层 |阅读模式
本帖最后由 spring 于 2018-8-30 14:29 编辑

Spark内核解读 41讲Spark内核全面掌握大数据视频教程


相信大数据工程师都非常了解Hadoop MapReduce一个最大的问题是在很多应用场景中速度非常慢,只适合离线的计算任务。这是由于MapReduce需要将任务划分成map和 reduce两个阶段,map阶段产生的中间结果要写回磁盘,而在这两个阶段之间需要进行shuffle操作。Shuffle操作需要从网络中的各个节点 进行数据拷贝,使其往往成为最为耗时的步骤,这也是Hadoop MapReduce慢的根本原因之一,大量的时间耗费在网络磁盘IO中而不是用于计算。在一些特定的计算场景中,例如像逻辑回归这样的迭代式的计 算,MapReduce的弊端会显得更加明显。
那Spark是如果设计分布式计算的呢?那我们就学习Spark内核解读吧,41讲全面掌握Spark。


2018-05-31_113822.png 2018-05-31_113837.png 2018-05-31_113900.png 2018-05-31_113953.png

课程目录

01-大数据最火爆语言Scala光速入门.mp4
02-Scala面向对象彻底精通及Spark源码阅读.mp4
03-Scala函数式编程彻底精通及Spark源码阅读.mp4
04-Scala模式匹配、类型系统彻底精通与Spark源码阅读.mp4
05-彻底精通Scala隐式转换和并发编程及Spark源码阅读.mp4
06-精通Spark集群搭建与测试.mp4
07-实战解析Spark运行原理和RDD解密.mp4
08-彻底实战详解使用IDE开发Spark程序.mp4.mp4
09-彻底实战详解 IntelliJ IDEA下的Spark程序开发.mp4
10-彻底实战详解使用Java开发Spark程序.mp4
11-彻底解密WordCount运行原理.mp4
12-HA下的Spark集群工作原理解密.mp4
13-Spark内核架构解密.mp4
14-Spark RDD解密.mp4
15-RDD创建内幕彻底解密.mp4
16-RDD实战(RDD基本操作实战及Transformation流程图).mp4
17-RDD案例(join、cogroup、reduceByKey、groupByKey等).mp4
18-RDD持久化、广播、累加器.mp4
19-Spark高级排序彻底解秘.mp4
20-Top N彻底解秘.mp4
21-从Spark架构中透视Job.mp4
22-RDD的依赖关系彻底解密.mp4
23-从物理执行的角度透视Spark Job.mp4
24-Spark Hash Shuffle内幕彻底解密.mp4
25-世界第一的Spark Sort-Based Shuffle内幕工作机制、案例实战、源码剖析、优缺点及改进方式等彻底解密.mp4
26-Spark Runtime内幕解密.mp4
27-Spark on Yarn彻底解密.mp4
28-Spark天堂之门解密.mp4
29-Master HA彻底解密.mp4
30-Master的注册机制和状态管理解密.mp4
31-Spark资源调度分配内幕天机彻底解密:Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结.mp4
32-Spark Worker原理和源码剖析解密:Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等.avi
33-Spark Executor内幕彻底解密:Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕.avi
34-Stage划分和Task最佳位置算法源码彻底解密.avi
35-打通Spark系统运行内幕机制循环流程.avi
36-TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等.avi
37-Task执行内幕与结果处理解密.avi
38-BlockManager架构原理、运行流程图和源码解密.avi
39-BlockManager初始化和注册解密、BlockManagerMaster工作解密、BlockTransferService解密、本地数据读写解密、远程数据读写解密.avi
40-CacheManager彻底解密:CacheManager运行原理流程图和源码详解.avi
41-Checkpoint的运行原理和源码实现彻底详解.avi


游客,如果您要查看本帖隐藏内容请回复

0

主题

119

帖子

123

积分

永久VIP

Rank: 5Rank: 5

积分
123
发表于 2018-8-31 18:00:26 | 显示全部楼层
楼主V5,赞一个

0

主题

375

帖子

379

积分

永久VIP

Rank: 5Rank: 5

积分
379
发表于 2018-9-2 07:12:27 | 显示全部楼层
最想要了,谢谢

0

主题

256

帖子

260

积分

永久VIP

Rank: 5Rank: 5

积分
260
发表于 2018-9-4 08:52:58 | 显示全部楼层
比较有需要,关注

0

主题

170

帖子

174

积分

永久VIP

Rank: 5Rank: 5

积分
174
发表于 2018-9-6 22:05:02 | 显示全部楼层
终于看到这个东西了,么么哒

0

主题

25

帖子

29

积分

永久VIP

Rank: 5Rank: 5

积分
29
发表于 2018-9-7 18:56:01 | 显示全部楼层
谢谢了,这个太好了

0

主题

183

帖子

187

积分

永久VIP

Rank: 5Rank: 5

积分
187
发表于 2018-9-8 09:56:00 | 显示全部楼层
很好很强大

0

主题

117

帖子

121

积分

永久VIP

Rank: 5Rank: 5

积分
121
发表于 2018-9-9 06:23:35 | 显示全部楼层
慢慢学了 ..谢谢

0

主题

98

帖子

102

积分

永久VIP

Rank: 5Rank: 5

积分
102
发表于 2018-9-10 23:16:37 | 显示全部楼层
看不懂。太难了

0

主题

299

帖子

303

积分

永久VIP

Rank: 5Rank: 5

积分
303
发表于 2018-9-11 19:41:12 | 显示全部楼层
加油啊兄弟们
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Powered by Discuz! X3.4

Copyright © 2012-2017 纷享资库 All Rights Reserved.

声明:资源来源于互联网或网友分享,如发现侵权内容请联系我们删除相关内容


豫ICP备18007919号-1

快速回复 返回顶部 返回列表