BDM127:基于Spark大数据处理技术及应用

开班计划时间:30 小时
  • 具体开课时间请咨询课程顾问
预约试听 马上咨询
课程介绍
适用对象:1、系统架构师、系统分析师、高级程序员、资深开发人员。 2、牵涉到大数据实时处理的数据中心运行、规划、设计负责人。 3、政府机关、金融保险、移动和互联网等大数据来源单位的负责人。 4、高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。
学习收获:1、全面了解大数据实时处理技术的相关知识 2、学习Spark的核心技术方法以及应用特征 3、深入使用Spark在大数据处理中的使用 4、掌握BDAS相关工具及其主要功能 5、学会简单的scala编程 6、掌握准实时的处理技术 7、掌握spark的图像处理的技术原理 8、了解spark在业界的应用 9、深入了解spark的算法库
详细大纲
1 Scala编程语言使用
1.1 Scala简介
1.2 Scala安装及配置
1.3 scala基本语基本数据类型
1.4 类和对象
1.5 组合和继承
1.6 任务并发
1.7 Actor传输
1.8 例子
1.9 练习
2 Spark简介
2.1 什么是spark
2.2 spark发展历史
2.3 spark特点
2.4 spark整体架构
2.5 spark计算生态
3 Spark配置、部署及管理
3.1 环境的准备
3.2 Hadoop2.8和spark2.1配部署
3.3 搭建Spark开发环境
3.4 Idea编译和运行spark
3.5 Spark及hadoop监控管理
3.6 spark shell及hadoop 基本操作
3.7 练习
4 Spark分布式弹性计算框架
4.1 Spark计算模型
4.2 弹性分布式数据集RDD
4.3 Spark的数据存储
4.4 Transformation算子分类及功能
4.5 Actions算子分类及功能
4.6 spark应用的概念
4.7 spark的执行机制概述
4.8 调度与任务分配
4.9 练习
5 SQL On Spark
5.1 BDAS数据分析软件栈
5.2 spark sql 架构
5.3 SQL On Spark
5.4 Spark SQL工具使用
5.5 Shark工具使用
5.6 Hive on Spark工具
5.7 dataFrame操作
5.8 数据源加载
5.9 练习
6 Spark流数据处理工具Streaming
6.1 Spark Streaming简介
6.2 Spark Streaming架构
6.3 Spark Streaming原理
6.4 Spark Streaming编程模型
6.5 DStream操作
6.6 性能优化
6.7 练习
7 Spark MLlib
7.1 机器学习概述
7.2 MLlib 介绍
7.3 MLlib 库
7.4 MLlib的数据存储
7.5 MLlib中的聚类和分类
7.6 MLlib算法应用实例
7.7 利用MLlib进行推荐
7.8 练习
8 Spark大规模图处理工具GraphX
8.1 大规模图处理工具GraphX
8.2 GraphX架构
8.3 GraphX 编程及使用
8.4 GraphX使用场景
8.5 GraphX使用实例
8.6 练习
9 Spark优化及在业界的应用案例
9.1 Spark参数
9.2 spark 调优技巧
9.3 spark的相关应用
9.4 spark在Amazon应用
课程评价

课程评价({{EvaluationTotal}})

课程满意度

评价

您还没有给课程评分哦

满意度

    追加评价:

课程咨询
内容:

您还没有填写内容!

暂无问答,赶紧去提问吧
{{item.AnswerState==1?"已解决":"未解决"}}
{{item.Content}}
{{item.StudentAskTime}}
{{itemanswer.UserName}}
{{itemanswer.Content}}
{{itemanswer.StudentAskTime}}
同类课程推荐 more
嘉为大讲堂 more
原创文章 more

您好! 欢迎来到学领未来 !

学领未来提供线上及线下的学习服务,根据您的位置,为您推荐最近的线下培训地点 分站,你选择: