需求决定架构，对于运维来说也是一样;因此，探讨一个运维平台应该怎么样构建，要看具体的需求再决定。以下是小编为你整理的如何学大数据分析
大数据的基础服务，包括传输系统(Flume和Kafka)，计算调度(Yarn和K8S)以及存储系统(HDFS和HBASE)。
大数据平台的配置与运维需求包括：配置管理与资产管理，可监控、可报警;可执行批量作业; 如果还有点期待就是Ai更好。
自动化运维的架构，应该足够简单，开源可修改;解决非专业运维团队的专业运维问题。投入产出比高，架构简单，一个系统迭代容易打造精品。
其中配置管理应该具备多数据中心支持，动态管理的成员关系，基于gossip协议的事件传输。基于轻量型CMDB系统，解决传统CMDB无法动态变更，自动发现，状态探测问题。
批量作业平台，要解决运维中高频的批处理任务，确保到达率很稳定，很可靠;尽量引入原生支持的组件，减少开发的工作量。
DNS一直是基础运维的核心，也是所有业务的重中之重。因此，自动化运维平台要将DNS的服务器及客户端纳入统一的管理。
智能对象设计
Navicat提供一个直观和设计完善的用户界面，用于创建、修改和管理资料库的所有对象，例如表、视图、函数或过程、索引、触发器和序列。我们的表设计器帮助用户创建和修改数据库的表，让设置高级选项，如关系、限制、触发器和更多。
简化数据编辑
使用Navicat浏览和修改数据，插入、编辑、删除数据或复制和粘贴记录到数据表形式的数据编辑器，Navicat将运行相应的命令(例如 INSERT或UPDATE)，免除写复杂的SQL。广泛的数据编辑工具令编辑工作更为方便，例如外键查找、set/enum选择器和记录筛选。
简易SQL编辑
可以创建、编辑、运行查询和检视结果，自动完成代码功能不仅帮助用户完成输入查询，也可以保证快捷地输入无错误的代码。查询创建工具使用户创建和编辑查询而不需要有SQL的知识。SQL美化功能旨在提高工作效率，创建格式整齐的查询，提高查询的可读性。
无缝数据迁移
Navicat具有广泛的功能，配备了一套简单、易于使用的用户界面来管理和处理数据。数据同步：分析和迁移数据库或模式之间的数据，这样可以确保每个数据库保存相同的信息。
Plotly
这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。
Rapidminer
作为另一款大数据处理必要工具，Rapidminer属于一套开源数据科学平台，且通过可视化编程机制发挥作用。其功能包括对模型进行修改、分析与创建，且能够快速将结果整合至业务流程当中。Rapidminer目前备受瞩目，且已经成为众多*数据科学家心目中的可靠工具。
Cassandra
Apache Cassandra 是另一款值得关注的工具，因为其能够有效且高效地对大规模数据加以管理。它属于一套可扩展NoSQL数据库，能够监控多座数据中心内的数据并已经在Netflix及eBay等*企业当中效力。
Hadoop MapReduce>
这是一套软件框架，允许用户利用其编写出以可靠方式并发处理大规模数据的应用。MapReduce应用主要负责完成两项任务，即映射与规约，并由此提供多种数据处理结果。这款工具最初由谷歌公司开发完成。
Mahout(数据挖掘算法库)
Mahout起源于2008年，最初是Apache Lucent的子项目，它在极短的时间内取得了长足的发展，现在是Apache的顶级项目。
Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。
Mahout现在已经包含了聚类、分类、推荐引擎(协同过滤)和频繁集挖掘等广泛使用的数据挖掘方法。
除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统(如数据库、MongoDB 或Cassandra)集成等数据挖掘支持架构。
Oozie(工作流调度器)
Oozie是一个可扩展的工作体系，集成于Hadoop的堆栈，用于协调多个MapReduce作业的执行。它能够管理一个复杂的系统，基于外部事件来执行，外部事件包括数据的定时和数据的出现。
Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic Graph)中的一组动作(例如，Hadoop的Map/Reduce作业、Pig作业等)，其中指定了动作执行的顺序。
Oozie使用hPDL(一种XML流程定义语言)来描述这个图。
