课程亮点
以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。
适用对象
不限
学习目标
了解大数据业内*新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统
课程内容
大数据背景与思维
1. 什么是大数据
2. 大数据技术的产生背景
3. 大数据应用场景
4. 大数据思维
5. 大数据产业链
6. 大数据是如何变革各行业的技术架构、商业模
式和组织方式
大数据应用-运营商案例分析
大数据时代的数据特征与数据来源分析
大数据时代的发展趋势—软件应用的泛互联网化
大数据时代的发展趋势—行业应用垂直整合
大数据时代的发展趋势—数据银行的诞生
大数据时代处理数据理念的三个大改变
大数据时代的核心技术-数据分析技术(Hadoop、MPI、BSP)
大数据时代的核心技术-数据挖掘
大数据分析的核心技术-可视化技术精解
大数据时代的精髓-预测技术
目前运营商大数据利用现状
利用大数据存在的问题
数据质量分析
场景不足
数据不统一的问题解决
如何进化金融行业的大数据基础数据
案例分享: 对外数据服务-数据到价值的转换, 我们能够提供的对外大数据服务
案例分享:位置数据货币化-如何为俏江南提供选址报告
互联网金融大数据应用案例深度解析
大数据在互联网金融及传统金融公司的应用案例解析-以下几个案例将贯穿整个培训内容, 作为每个章节的案例分析细化到每个大数据的知识点
互联网企业遇到大数据的问题
案例分享:海量数据金融解决方案
案例分享:基于区块链的金融信任体系海量数据解决方案
案例分享:淘宝飞天平台实践
案例分享:微信红包大数据分析
案例分享:互联网金融的大数据分析
案例分享:金融行业在风控, 营销, 产品设计, 营业网点分析等领域的大数据分析
案例分享:一个大型银行的核心信用系统大数据项目分析案例深入剖析
大数据企业级平台选型方案
开源方案:Hadoop,Spark
海量数据处理系统
的架构设计
这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。
海量数据处理的系统场景
大数据时代的数据架构解决方案
海量数据处理的架构汇总
8种海量数据处理的架构设计比较
分布式系统架构的海量数据处理设计
海量数据处理设计
典型案例分析:结合一个500强实时数据系统的实例案例进行分析,详细分析海量数据处理的架构设计
Hadoop集群架构搭建及实践案例沙盘演练
Hadoop版本介绍与选择
Hadoop部署实践
系统环境配置
进程分布规划与启动
Hadoop基本使用操作
HDFS核心架构分析
开发环境准备
读文件
写文件
Eclipse与Hadoop的集成
基于HDFS的命令总结
基于的API编程模型及其开发演练
Hadoop集群架构搭建方法
Hadoop集群架构性能管理
Namenode单点问题改进
HDFS,NameNode,DataNode的调优和节点扩展*佳实践
主要调优工具和性能监控工具
Hadoop集群对于硬件的要求和选型
Hadoop集群中对硬件、操作系统的调优方法
实际案例分析
基于Hadoop的集群解决方案
典型案例分析:结合一个大型金融行业大数据系统的实例案例分析及演练Hadoop集群架构搭建过程
典型案例分析:通过HDFS API完成一个复杂数据系统的操作过程
动手实验:完成Hadoop整体集群体系的搭建,配置与优化
HDFS原理及高级程序实战演练(深入理解HDFS)
HDFS架构及原理
HDFS NameNode、DataNode解析
HDFS 副本机制块机制解析
HDFS实战-命令行等使用
HDFS命令行工具
启动、停止HDFS服务
如何查看HDFS日志
如何查看HDFS Web控制台
HDFS参数配置
PB级Hadoop存储架构设计
