上海大数据培训哪家好,大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
上海大数据培训热门课程推荐
大数据培训
潮流技能 颠覆性课程
拒绝用老掉牙的淘汰项目练手 要做就做前沿覆盖大数据行业主流技术岗位,课程半年升级一次,紧跟市场与企业步伐
01 大数据入门基础课程
1.JavaSE;2.MySQL;3.JDBC;4.Linux;5.shell;6.HTML;7.CSS;8.JavaScript;9.JSP;10.Servlet
02 大数据Hadoop基础
1.大数据概论;2.Hadoop框架;3.HDFS分布式文件系统;4.MapReduce计算模型;5.全真实训项目
03 大数据离线分析
1.Hive数据仓库;2.Sqoop ETL工具;3.Azkaban工作流引擎;4.Ooize;5.Impala;6.全真实训项目
04 大数据实时计算
1.Zookeeper分布式协调系统;2.HBase分布式数据库;3.Redis数据库;4.mogDB数据库;5.Kudu列式存储系统;6.Storm实时数据处理平台;7.Kafka分布式发布订阅消息系统;8.Flume海量日志采集系统;9.全真实训综合项目
05 Spark数据计算
1.Scala;2.Spark;3RDD;4.Spark SQL;5. Streaming;6. Mahout;7.MLlib;8.GraphX;9.Spark R;10.Python;11.Alluxio;12.Python爬虫;13.ElasticSearch;14.Lucene
Hadoop基础实战
项目名称:搜狗搜索日志分析系统
数据体量:5000W+/日
硬件环境:Hadoop集群 12台
软件环境:Hadoop2.5.2+Hive1.2.1+MR+Oracle10g
项目描述:搜狗每天产生大量的日志数据,从日志数据里面能提取到有用的数据包括每个用户的ID、浏览次数、月/日浏览频率、访问源、浏览内容等等,提取这些内容、统计数据分析每个用户行为,从而做出有利的决定。
大数据离线实战
项目名称:新浪微博数据分析系统
日均数据体量:3GB+
硬件环境:Hadoop集群 50台
软件环境:MapReduce+HBase0.98.9+Storm0.9.6+Hadoop2.5.2+Kafka2.10+Zooke
eper3.4.5+CentOS-6.5-X86
项目描述:此次项目我们需要处理微博产生的数据,通过对数据的处理得到所需的数据,微博拥有大量的用户,大量的用户潜在的价值是巨大,怎么挖掘这些潜在的宝藏就是我们项目最直接的目的,为了能够实时的进行数据处理使用Storm流式计算系统,和HBase、Zookeeper、Kafka组成框架,对数据进行处理,当然这些都是建立在hadoop集群上实现的,底层的存储还是HDFS。
大数据实时计算
项目名称:网络流量流向异常账号统计项目
数据体量:每天1000亿,每秒峰值100 000
硬件环境:Hadoop集群 600台
软件环境:Hadoop2.5.2+Hive1.2.1+MR+Oracle10g
项目描述:运营商骨干网上采集现网流量流向信息,根据这些原始信息检测账号是否存在异常,如果多个终端使用同一个宽带账号,超过一定阈值则触发报警机制,例如阈值为5时,同一个账号同时连接的终端数量不能超过该值,如果超过则报警。
Spark阶段项目
项目名称:京东网上商城数据统计分析平台
数据体量:5000W+/日
硬件环境:centos-6.5-x86 集群:spark standalone(Master-1,Worker-3)
软件环境:hadoop,spark,hive,mysql,idea,navicat,kafka,flume
每日处理的数据量:3GB
项目描述:基于京东网上商城数据统计分析平台--该项目采用了目前大数据领域非常流行的技术——Spark。本项目使用了Spark技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL和Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括:统计和分析UV、PV、登录、留存、热门商品离线统计、广告流量实时统计3个业务模块。
大数据在各行各业中应用广泛 没有什么能逃出你的掌心大数据特点 数据量大 数据种类多 要求实时性强 主导气质无法掩盖
大数据hadoop
网站后台维护
[图片3]大数据处理服务器开发
[图片4]金融机构大数据应用
[图片5]智能家居家电
[图片6]银行管理系统
来自主流高校和企业的骨灰级大咖授课他们将十余年实战经验倾囊相授,他们在兄弟连为你的职业发展保驾护航
赵强 兄弟连总监级讲师 [图片7]
毕业于清华*,13年以上开发经验。先后就职于IBM、摩托罗拉,现任Oracle公司高级技术顾问,精通Oracle数据库和大数据Hadoop的管理和开发。
杨力 兄弟连总监级讲师 [图片8]原普开数据大数据架构师兼教学总监,新奥集团公司云数据平台项目首席架构师,京东万象大数据平台缔造人之一,二六三网络通信系统平台项目经理。
马如忠 兄弟连总监级讲师 [图片9]精通Java、C、C++等主流开发语言,5年以上开发经验,非常丰富的IT从业经验和教育心得,兄弟连金牌JAVA讲师,曾担任达内课程总监级讲师。
王溯 兄弟连总监级讲师 [图片10]软件工程硕士,二十年系统开发经验,具有大规模集群建设、开发及运维经验;拥有Apache Hadoop、Oracle OCM等多项产品的技术认证证书。
学习氛围浓厚 求学圣地带你一站成才集衣食住学为一体,舒适生活区域,先进教学设备兄弟连注重细节,倾力为学员打造贴心学习环境 [图片11] [图片12] [图片13] [图片14] [图片15] [图片16] [图片17] [图片18] 人生永远没有太晚的开始,所以努力奔跑吧!天津兄弟连教育学校正在火热招生中,想了解更多课程,请关注上海兄弟连教育。