Spark 从入门到精通体系课程

Spark 从入门到精通体系课程

Scala基础讲解 spark集群安装 Spark core课程大纲 Spark SQL课程大纲 Spark Streaming课程大纲 通过案例讲解

399 36 人学习

课程名称:

Spark 从入门到精通体系课程


讲师介绍:

Kenny,国内某公司数据部门高级软件工程师,拥有7年以上开发和运维工作经验。 负责公司Hadoop数据集群平台的部署、运维、性能优化工作,以及基于Hadoop组件的程序研发。对Hadoop及其周边生态系统有较深入研究。


课程简介:

以目前主流的, spark稳定版1.6.0为基础,深入浅出地讲解了Scala语法体系,Spark集群安装(基于Yarn)以及介绍了Spark生态系统原理及应用,内容包括Spark各组件(Spark Core/SQL/Streaming)基本原理,使用方法,实战经验以及在线演示。本课程精心设计了三个企业级案例,帮助大家在理解理论的基础上,亲手实践和应用spark。


课程特色: 

1. 基于官网的Spark2.1.x为讲解大纲,Spark 1.6.0为实际开发环境

2. 精心设计多个应用案例,更好地实践、应用Spark

3. 课程将不断更新2.1.x新功能及项目实战


面向人群:

1.  大数据爱好者

2.  Spark初中级学者

3.  对Spark感兴趣、想系统性学习者



课程大纲:

第一部分:Scala基础讲解

学习spark基础知识scala,scala是开发spark案例的其中语言之一,掌握Scala是学习Spark重要环节之一。

课程链接:https://edu.hellobi.com/course/120


第二部分:Spark集群安装

掌握完全离线搭建企业集群安装方法(Spark on yarn)

课程链接:https://edu.hellobi.com/course/149


第三部分:学习spark核心

本课程是后续Spark SQL以及Spark Streaming的基础课程此部分会通过企业一些案例抽取进行学习,每个知识点都会通过java版本,scala版本学习

课程链接:https://edu.hellobi.com/course/155

课程大纲:

1.  Spark产生背景

包括mapreduce缺陷,多计算框架并存等

2.  Spark 基本特点

3.  Spark核心概念

包括RDD, transformation, action, cache等

4.  Spark生态系统

5. 常见transformation与action用法

6.  broadcast、accumulator 


第四部分:通过一些小案例讲解Spark SQL

此课程学会使用SparkSQL。

课程链接:https://edu.hellobi.com/course/162

课程大纲:

1.  Spark SQL是什么

2.  Spark SQL基本原理

3.  Spark  Dataframe

4.  Spark SQL与Spark Core的关系

 

第五部分:系统讲解Spark-Streaming

课程链接:https://edu.hellobi.com/course/169

课程大纲:

1.Spark  Streaming基本原理

    a.  Spark Streaming是什么

    b.  Spark Streaming基本原理

    c.  Spark  Streaming 编程接口介绍

2.  Spark  Streaming程序设计与企业级应用案例

    a.  常见流式数据处理模式

    b.  Spark Streaming与Kafka 交互


第六部分:通过案例讲解

课程链接:https://edu.hellobi.com/course/170

1.基于spark core的实战案例:手机app流量统计

2.基于Spark SQL的实战案例:新闻网站关键指标离线统计

3.基于spark Streaming的实战案例:实时黑名单过滤




友情提示:  

1、PC端如果发现浏览器无法观看课程,建议使用谷歌浏览器观看;移动端建议直接微信打开课程页面。

2、如果购买后下次登录提示课程需要重新购买,一般是因为你把登录账户记成你绑定的手机或者邮箱帐号而混淆了。

3、【在微信购买课程的用户注意】请微信收藏课程页面或者关注微信公众号:天善智能(点“我的”即可查看你已购买的课程),已方便下次学习。

4、课程相关资料&QQ会员群可在课程PC端公告查看下载。

5、加入学习后请添加客服微信:tianshansoft08(请注明:数据分析师八大能力培养),邀请你加入微信VIP群与老师&同学交流讨论。(如果已经是天善一号或者天善六号的微信好友,请直接私信他们

tianshansoft08 - 副本.jpg


改版

反馈