Spark 从入门到精通体系课程

Spark 从入门到精通体系课程

Scala基础讲解 spark集群安装 Spark core课程大纲 Spark SQL课程大纲 Spark Streaming课程大纲 通过案例讲解

399 30 人学习

课程名称:

Spark 从入门到精通体系课程


讲师介绍:

Kenny,国内某公司数据部门高级软件工程师,拥有7年以上开发和运维工作经验。 负责公司Hadoop数据集群平台的部署、运维、性能优化工作,以及基于Hadoop组件的程序研发。对Hadoop及其周边生态系统有较深入研究。


课程简介:

以目前主流的, spark稳定版1.6.0为基础,深入浅出地讲解了Scala语法体系,Spark集群安装(基于Yarn)以及介绍了Spark生态系统原理及应用,内容包括Spark各组件(Spark Core/SQL/Streaming)基本原理,使用方法,实战经验以及在线演示。本课程精心设计了三个企业级案例,帮助大家在理解理论的基础上,亲手实践和应用spark。


课程特色: 

1. 基于官网的Spark2.1.x为讲解大纲,Spark 1.6.0为实际开发环境

2. 精心设计多个应用案例,更好地实践、应用Spark

3. 课程将不断更新2.1.x新功能及项目实战


面向人群:

1.  大数据爱好者

2.  Spark初中级学者

3.  对Spark感兴趣、想系统性学习者



课程大纲:

第一部分:Scala基础讲解

学习spark基础知识scala,scala是开发spark案例的其中语言之一,掌握Scala是学习Spark重要环节之一。

课程链接:https://edu.hellobi.com/course/120


第二部分:Spark集群安装

掌握完全离线搭建企业集群安装方法(Spark on yarn)

课程链接:https://edu.hellobi.com/course/149


第三部分:学习spark核心

本课程是后续Spark SQL以及Spark Streaming的基础课程此部分会通过企业一些案例抽取进行学习,每个知识点都会通过java版本,scala版本学习

课程链接:https://edu.hellobi.com/course/155

课程大纲:

1.  Spark产生背景

包括mapreduce缺陷,多计算框架并存等

2.  Spark 基本特点

3.  Spark核心概念

包括RDD, transformation, action, cache等

4.  Spark生态系统

5. 常见transformation与action用法

6.  broadcast、accumulator 


第四部分:通过一些小案例讲解Spark SQL

此课程学会使用SparkSQL。

课程链接:https://edu.hellobi.com/course/162

课程大纲:

1.  Spark SQL是什么

2.  Spark SQL基本原理

3.  Spark  Dataframe

4.  Spark SQL与Spark Core的关系

 

第五部分:系统讲解Spark-Streaming

课程链接:https://edu.hellobi.com/course/169

课程大纲:

1.Spark  Streaming基本原理

    a.  Spark Streaming是什么

    b.  Spark Streaming基本原理

    c.  Spark  Streaming 编程接口介绍

2.  Spark  Streaming程序设计与企业级应用案例

    a.  常见流式数据处理模式

    b.  Spark Streaming与Kafka 交互


第六部分:通过案例讲解

课程链接:https://edu.hellobi.com/course/170

1.基于spark core的实战案例:手机app流量统计

2.基于Spark SQL的实战案例:新闻网站关键指标离线统计

3.基于spark Streaming的实战案例:实时黑名单过滤




资料获取:
本文所用课件、数据集、代码等将分享到课程公告及天善微信群。

关注课程更新情况,加天善课程助手管理员微信:tianshansoft06,邀请进入微信交流群。

1493861381659424.jpeg

改版

反馈