java大数据python
查看: 881|回复: 33

大数据技术路线

[复制链接]

281

主题

294

帖子

5005

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
5005
发表于 2018-7-26 22:28:31 | 显示全部楼层 |阅读模式
前言

如何学习大数据?大数据都包含哪些技术?学习大数据需要什么基础?
在学习大数据课程之前要先学习一种计算机编程语言。Java是大数据学习需要的编程语言基础,因为大数据的开发基于常用的高级语言。而且不论是学习hadoop,还是数据挖掘,都需要有编程语言作为基础。因此,如果想学习大数据开发,掌握Java基础是必不可少的。
大数据能做什么?

如果把大数据比作容器,那么这个容器的容量无限大,什么都能往里装,大数据离不开物联网,移动互联网,大数据还和人工智能、云计算和机器学习有着千丝万缕的关系,大数据海量数据存储要高扩展就离不开云计算,大数据计算分析采用传统的机器学习、数据挖掘技术会比较慢,需要做并行计算和分布式计算扩展
学习大数据需要掌握哪些核心技术?

11.jpeg

Java高级(虚拟机、并发)

  • 掌握多线程。
  • 掌握并发包下的队列。
  • 了解JMS。
  • 掌握JVM技术。
  • 掌握反射和动态代理。

多线程相关视频
Java反射与代理、多线程相关课程

Zookeeper学习

  • Zookeeper分布式协调服务介绍。
  • Zookeeper集群的安装部署。
  • Zookeeper数据结构、命令。
  • Zookeeper的原理以及选举机制。

一套适合初学者的Zookeeper大数据视频教程 含代码详解 案例实战共8讲
Hadoop大数据视频体系之ZooKeeper分布式集群配制与应用视频课程
大讲台zookeeper Hadoop核心组件之zookeeper 讲解非常详细


Linux 基本操作

  • Linux操作系统介绍与安装。
  • Linux常用命令。
  • Linux常用软件安装。
  • Linux网络。
  • 防火墙。
  • Shell编程等。
Linux基础教学视频-适合初学者-linux使用基础
117讲Linux老男孩19期完整版 Linux入门懂精通 老男孩Linux运维精华教程
京峰教育Linux系统搭建入门到精通视频系列视频教程 Linux运维基础入门教程


Hadoop(HDFS+MapReduce+Yarn )

HDFS
  • HDFS的概念和特性。
  • HDFS的shell操作。
  • HDFS的工作机制。
  • HDFS的Java应用开发。
MapReduce

  • 运行WordCount示例程序。
  • 了解MapReduce内部的运行机制。
  • MapReduce程序运行流程解析。
  • MapTask并发数的决定机制。
  • MapReduce中的combiner组件应用。
  • MapReduce中的序列化框架及应用。
  • MapReduce中的排序。
  • MapReduce中的自定义分区实现。
  • MapReduce的shuffle机制。
  • MapReduce利用数据压缩进行优化。
  • MapReduce程序与YARN之间的关系。
  • MapReduce参数优化。
HBase

  • hbase简介。
  • habse安装。
  • hbase数据模型。
  • hbase命令。
  • hbase开发。
  • hbase原理。
Hive

Hive 基本概念

  • Hive 应用场景。
  • Hive 与hadoop的关系。
  • Hive 与传统数据库对比。
  • Hive 的数据存储机制。
Hive 基本操作

  • Hive 中的DDL操作。
  • 在Hive 中如何实现高效的JOIN查询。
  • Hive 的内置函数应用。
  • Hive shell的高级使用方式。
  • Hive 常用参数配置。
  • Hive 自定义函数和Transform的使用技巧。
  • Hive UDF/UDAF开发实例。
Hive执行过程分析及优化策略

Kafka

Storm/JStorm

Scala

  • Scala概述。
  • Scala编译器安装。
  • Scala基础。
  • 数组、映射、元组、集合。
  • 类、对象、继承、特质。
  • 模式匹配和样例类。
  • 了解Scala Actor并发编程。
  • 理解Akka。
  • 理解Scala高阶函数。
  • 理解Scala隐式转换。
Python

Spark

学习Spark推荐书籍Spark 权威指南
Spark Core

  • Spark概述。
  • Spark集群安装。
  • 执行第一个Spark案例程序(求PI)。
RDD

  • RDD概述。
  • 创建RDD。
  • RDD编程API(Transformation 和 Action Operations)。
  • RDD的依赖关系
  • RDD的缓存
  • DAG(有向无环图)
Spark SQL and DataFrame/DataSet

  • Spark SQL概述。
  • DataFrames。
  • DataFrame常用操作。
  • 编写Spark SQL查询程序。
Spark Streaming

  • park Streaming概述。
  • 理解DStream。
  • DStream相关操作(Transformations 和 Output Operations)。
辅助小工具(Sqoop/Flume/Oozie/Hue等)



0

主题

119

帖子

123

积分

永久VIP

Rank: 5Rank: 5

积分
123
发表于 2018-7-27 13:21:18 | 显示全部楼层
太棒的资源,感谢分享

0

主题

375

帖子

379

积分

永久VIP

Rank: 5Rank: 5

积分
379
发表于 2018-7-31 02:55:38 | 显示全部楼层
最近刚刚好在学习,谢谢

0

主题

183

帖子

187

积分

永久VIP

Rank: 5Rank: 5

积分
187
发表于 2018-8-3 02:04:21 | 显示全部楼层
留个脚印 以后需要

0

主题

256

帖子

260

积分

永久VIP

Rank: 5Rank: 5

积分
260
发表于 2018-8-4 20:12:48 | 显示全部楼层
谢谢,很实用

0

主题

81

帖子

85

积分

永久VIP

Rank: 5Rank: 5

积分
85
发表于 2018-8-5 17:41:48 | 显示全部楼层
感谢提供!先收藏有空看看

0

主题

98

帖子

102

积分

永久VIP

Rank: 5Rank: 5

积分
102
发表于 2018-8-8 23:02:32 | 显示全部楼层
我是学软件的,刚好想试试

0

主题

25

帖子

29

积分

永久VIP

Rank: 5Rank: 5

积分
29
发表于 2018-8-10 02:09:43 | 显示全部楼层
比较有需要,关注

0

主题

170

帖子

174

积分

永久VIP

Rank: 5Rank: 5

积分
174
发表于 2018-8-11 03:41:24 | 显示全部楼层
都是干货,感谢楼主分享

0

主题

107

帖子

111

积分

永久VIP

Rank: 5Rank: 5

积分
111
发表于 2018-8-12 00:57:47 | 显示全部楼层
目测回火,火前留名
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Powered by Discuz! X3.4

Copyright © 2012-2017 纷享资库 All Rights Reserved.

声明:资源来源于互联网或网友分享,如发现侵权内容请联系我们删除相关内容


豫ICP备18007919号-1

快速回复 返回顶部 返回列表