课程名称:
Spark 从入门到精通体系课程
讲师介绍:
Kenny,国内某公司数据部门高级软件工程师,拥有7年以上开发和运维工作经验。 负责公司Hadoop数据集群平台的部署、运维、性能优化工作,以及基于Hadoop组件的程序研发。对Hadoop及其周边生态系统有较深入研究。
课程简介:
以目前主流的, spark稳定版1.6.0为基础,深入浅出地讲解了Scala语法体系,Spark集群安装(基于Yarn)以及介绍了Spark生态系统原理及应用,内容包括Spark各组件(Spark Core/SQL/Streaming)基本原理,使用方法,实战经验以及在线演示。本课程精心设计了三个企业级案例,帮助大家在理解理论的基础上,亲手实践和应用spark。
课程特色:
1. 基于官网的Spark2.1.x为讲解大纲,Spark 1.6.0为实际开发环境
2. 精心设计多个应用案例,更好地实践、应用Spark
3. 课程将不断更新2.1.x新功能及项目实战
面向人群:
1. 大数据爱好者
2. Spark初中级学者
3. 对Spark感兴趣、想系统性学习者
课程大纲:
第一部分:Scala基础讲解
学习spark基础知识scala,scala是开发spark案例的其中语言之一,掌握Scala是学习Spark重要环节之一。
课程链接:https://edu.hellobi.com/course/120
第二部分:Spark集群安装
掌握完全离线搭建企业集群安装方法(Spark on yarn)
课程链接:https://edu.hellobi.com/course/149
第三部分:学习spark核心
本课程是后续Spark SQL以及Spark Streaming的基础课程此部分会通过企业一些案例抽取进行学习,每个知识点都会通过java版本,scala版本学习
课程链接:https://edu.hellobi.com/course/155
课程大纲:
1. Spark产生背景
包括mapreduce缺陷,多计算框架并存等
2. Spark 基本特点
3. Spark核心概念
包括RDD, transformation, action, cache等
4. Spark生态系统
5. 常见transformation与action用法
6. broadcast、accumulator
第四部分:通过一些小案例讲解Spark SQL
此课程学会使用SparkSQL。
课程链接:https://edu.hellobi.com/course/162
课程大纲:
1. Spark SQL是什么
2. Spark SQL基本原理
3. Spark Dataframe
4. Spark SQL与Spark Core的关系
第五部分:系统讲解Spark-Streaming
课程链接:https://edu.hellobi.com/course/169
课程大纲:
1.Spark Streaming基本原理
a. Spark Streaming是什么
b. Spark Streaming基本原理
c. Spark Streaming 编程接口介绍
2. Spark Streaming程序设计与企业级应用案例
a. 常见流式数据处理模式
b. Spark Streaming与Kafka 交互
第六部分:通过案例讲解
课程链接:https://edu.hellobi.com/course/170
1.基于spark core的实战案例:手机app流量统计
2.基于Spark SQL的实战案例:新闻网站关键指标离线统计
3.基于spark Streaming的实战案例:实时黑名单过滤
友情提示:
1、PC端如果发现浏览器无法观看课程,建议使用谷歌浏览器观看;移动端建议直接微信打开课程页面。
2、如果购买后下次登录提示课程需要重新购买,一般是因为你把登录账户记成你绑定的手机或者邮箱帐号而混淆了。
3、【在微信购买课程的用户注意】请微信收藏课程页面或者关注微信公众号:天善智能(点“我的”即可查看你已购买的课程),已方便下次学习。
4、课程相关资料&QQ会员群可在课程PC端公告查看下载。
5、加入学习后请添加客服微信:tianshansoft08(请注明:数据分析师八大能力培养),邀请你加入微信VIP群与老师&同学交流讨论。(如果已经是天善一号或者天善六号的微信好友,请直接私信他们)