随着大数据技术的成熟和普及，我们发现借助于大数据技术可以完美的解决上述问题。根据目前的需求和对大数据相关软件的掌握，我们对GPS日志分析系统做了初步的设计以下是小编为你整理的大数据要怎么学  

大数据日志分析主要是对开源大数据组件进行整合开发而成，分为：数据采集层、数据预处理层、数据存储层、数据处理层和数据分析层等5个层次。  

01数据采集层  

数据采集层主要利用开源组件Flume对日志文件进行采集。Flume是一个分布式、高可靠、高可用的海量日志采集软件，支持定制各类的数据发送方，在收集数据的同时能够对数据进行简单的处理，然后写到各种数据接收方。  

目前我们是对Flume采集的日志文件做两个操作，一是直接发送给kafka进行缓存，二是将数据进行压缩后写入HDFS供之后的分析用。

02数据预处理  

数据预处理主要对日志文件进行初步的简单处理。目前采用Storm从Kafka接收数据，然后对数据进行实时统计。  

Storm是一个分布式、容错的实时计算系统。它的编程模型非常简洁，主要包括三个组件：Topology、Spout和Bolt。Topology是一个由多个计算节点构成的拓扑图，Spout和Bolt是两种结算节点，它们一起构成了一个完整的数据流向图。  

目前常用的大数据解决方案包括以下几类  

一、Hadoop。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。  

二、HPCC。HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。  

三、Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它*的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。  

四、Apache Drill。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。  

大数据时代下，*、企业、个人应该如何保护隐私  

隐私安全的保护，不仅需要先进的技术来保护，也需要**不断完善规章制度，企业也要遵守行业规范，个人也要提高对隐私保护的意识。  

1、**应该完善相关的规章制度。6月1日，《网络安全法》正式实施，保障网络安全，维护网络空间主权和*安全、社会公共利益，保护公民、法人和其他组织的合法权益，促进经济社会信息化健康发展。同时，*也要加强监管力度，加强政策法规的落实，不断完善《网络安全法》。

2、企业应当遵守行业规法。企业应该加强数据使用的监管，保证数据安全不泄露，防止不法分子获取数据，减少用户对数据安全的担忧，建立强而有效的数据隐私保护机制。  

3、个人应该提高自身隐私安全保护意识。除了*、企业应当保护隐私以外，个人也应该提高自身的隐私安全保护意识，切勿轻易把个人隐私信息交给他人，从源头上防止个人隐私泄露。  

大数据近年来确实在许多方面改进了商业模式，促进了经济的发展。但是，发展是好，我们也要不能忽略掉大数据带来的隐私问题，隐私保护才是重中之重。  

利用移动设备数据识别欺诈  

行为数据中一个比较特殊的就是移动设备数据反欺诈，公司可以利用移动设备的位置信息来验证客户提交的工作地和生活地是否真实，另外来可以根据设备安装的应用活跃来识别多头借贷风险。  

欺诈用户一般会使用模拟器进行贷款申请，移动大数据可以识别出贷款人是否使用模拟器。欺诈用户也有一些典型特征，例如很多设备聚集在一个区域，一起 申请贷款。欺诈设备不安装生活和工具用App，仅仅安装和贷款有关的App，可能还安装了一些密码破译软件或者其他的恶意软件。  

欺诈用户还有可能不停更换SIM卡和手机，利用SIM卡和手机绑定时间和频次可以识别出部分欺诈用户。另外欺诈用户也会购买一些已经淘汰的手机，其机器上面的操作系统已经过时很久，所安装的App版本都很旧。这些特征可以识别出一些欺诈用户。