1.大数据架构东西与组件
企业大数据结构的搭建,多是挑选根据开源技能结构来实现的,这其中就包含Hadoop、Spark、Storm、Flink为主的一系列组件结构,及其生态圈组件。
2.深化了解SQL和其它数据库解决方案
大数据工程师需要了解数据库办理体系,深化了解SQL。相同其它数据库解决方案,例如Cassandra或MangoDB也须了解,由于不是每个数据库都是由可识别的标准来构建。
3.数据仓库和ETL东西
数据仓库和ETL才能对于大数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案,以及ETL东西,比方StitchData或Segment都十分有用。
4.根据Hadoop的剖析
对根据Apache Hadoop的数据处理结构,需要有深化的了解,至少Hbase,Hive和MapReduce的知识存储是必需的。
5.编码
编码与开发才能是作为大数据工程师的重要要求,主要掌握Java、Scala、Python三门语言,这在大数据当中十分关键。
