课程亮点
师资:*讲师团队,丰富行业经验和企业培训经验
特色:小班培训,精品课程,面授+直播+录播,上课方式多样
培训:免费重听
适用对象
不限
学习目标
了解大数据业内*新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统
课程内容
大数据背景与思维
1. 什么是大数据
2. 大数据技术的产生背景
3. 大数据应用场景
4. 大数据思维
5. 大数据产业链
6. 大数据是如何变革各行业的技术架构、商业模式和组织方式
7. 大数据必备的技术基础
*天
互联网电信大数据应用案例深度解析
大数据在通信及互联网行业的应用案例解析-以下几个案例将贯穿整个培训内容, 作为每个章节的案例分析细化到每个大数据的知识点
互联网企业遇到大数据的问题
案例分享:海量数据通信行业解决方案
案例分享:基于通信网元实时数据的海量数据解决方案
案例分享:*电信用户画像分析系统的大数据变现案例分析
案例分享:淘宝大数据分析案例分析
*天
海量数据处理系统
的架构设计
这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。
海量数据处理的系统场景
大数据时代的数据架构解决方案
海量数据处理的架构汇总
8种海量数据处理的架构设计比较
分布式系统架构的海量数据处理设计
海量数据处理设计
典型案例分析:结合一个500强实时数据系统的实例案例进行分析,详细分析海量数据处理的架构设计
第二天
案例及动手实验
HDFS实战-Java API使用
PB 级大数据存储系统的项目案例分析
HDFS部署、配置与性能调优实战
典型案例分析:通过HDFS API完成一个复杂数据系统的操作过程
Hadoop MapReduce深入解析
使用 Hadoop MapReduce Streaming 编程
MapReduce流程
基本MapReduceAPI 概念
MapReduce的优化
MapReduce的任务调度
MapReduce编程实战
满足解决实际数据分析问题的高级Hadoop API
第三天
Hive架构及实践案例沙盘演练
Hive系统部署与搭建
Hive工作机制
基于Hive的大数据加载过程
Hive程序编写性能建议
MapJoin
数据倾斜
Join顺序
UDF编写注意事项
快速获取结果TopN
通过Explain观察Hive行为
动手实验:完成Hive的搭建与配置
典型案例分析:基于Hive的大型电信通话记录分析示例,详细分析Hive的架构应用、性能调优及其使用场景与整体系统架构的结合
第四天
Spark架构及实践
案例沙盘演练
1.2 Spark的重要扩展
1.2.1 Spark SQL和Dataframe
1.2.2 Spark Streaming
1.2.3 Spark MLlib和ML
1.2.4 GraphX
1.2.5 SparkR
2.3 运行Spark应用程序
2.3.1 Local模式运行Spark应用程序
2.3.2 Standalone模式运行Spark应用程序
2.3.3 YARN模式运行Spark
2.3.4 应用程序提交和参数传递
3 Spark程序开发
3.1 使用Spark Shell编写程序
3.1.1 启动Spark Shell
3.1.2 加载text文件
3.1.3 简单RDD操作
3.1.4 简单RDD操作应用
3.1.5 RDD缓存
3.2 构建Spark的开发环境
3.2.1 准备环境
3.2.2 构建Spark的Eclipse开发环境
3.2.3 构建Spark的IntelliJ IDEA开发环境
3.3 独立应用程序编程
3.3.1 创建SparkContext对象
3.3.2 编写简单应用程序
3.3.3 编译并提交应用程序
第五天
Spark Streaming应用开发
Spark Streaming Java实例开发、运行
Spark Streaming Java实例的运行过程分析
Spark Streaming内部数据传输过程分析
Spark Streaming应用开发总结(API回顾,典型应用模式总结)
Spark Streaming消息可靠性保证机制介绍
Spark Streaming实时大数据算法解析案例
Spark Streaming实时大数据报警案例
Spark Streaming实时大数据的调整与改进
