如何进行大数据分析及处理？

如题所述

第1个回答 2017-09-06

1.可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。本回答被提问者采纳

第2个回答 2019-07-18

生活在数据裸奔的时代，普通人在喊着如何保护自己的隐私数据，黑心人在策划着如何出售个人信息，而有心人则在思考如何处理大数据，数据的处理分几个步骤，全部完成之后才能获得大智慧。

大数据处理流程完成的智慧之路：
头一个步骤叫数据的收集。
首先得有数据，数据的收集有两个方式：
头一个方式是拿，专业点的说法叫抓取或者爬取。例如搜索引擎就是这么做的：它把网上的所有的信息都下载到它的数据中心，然后你一搜才能搜出来。比如你去搜索的时候，结果会是一个列表，这个列表为什么会在搜索引擎的公司里面？就是因为他把数据都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻，你拿百度搜出来，你不点的时候，那一页在百度数据中心，一点出来的网页就是在新浪的数据中心了。
第二个方式是推送，有很多终端可以帮我收集数据。比如说小米手环，可以将你每天跑步的数据，心跳的数据，睡眠的数据都上传到数据中心里面。
第二个步骤是数据的传输。
一般会用队列方式进行，因为数据量实在是太大了，数据必须经过处理才会有用。可系统处理不过来，只好排好队，慢慢处理。
第三个步骤是数据的存储。
现在数据就是金钱，掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么？就是因为它有你历史的交易的数据，这个信息可不能给别人，十分宝贵，所以需要存储下来。
第四个步骤是数据的处理和分析。
上面存储的数据是原始数据，原始数据多是杂乱无章的，有很多垃圾数据在里面，因而需要清洗和过滤，得到一些高质量的数据。对于高质量的数据，就可以进行分析，从而对数据进行分类，或者发现数据之间的相互关系，得到知识。
比如盛传的沃尔玛超市的啤酒和尿布的故事，就是依靠对人们的购买数据进行分析，发现了男人一般买尿布的时候，会同时购买啤酒，这样就发现了啤酒和尿布之间的相互关系，获得知识，然后应用到实践中，将啤酒和尿布的柜台弄的很近，就获得了智慧。
第五个步骤是对于数据的检索和挖掘。
检索就是搜索，所谓外事不决问Google，内事不决问百度。内外两大搜索引擎都是将分析后的数据放入搜索引擎，因此人们想寻找信息的时候，一搜就有了。
另外就是挖掘，仅仅搜索出来已经不能满足人们的要求了，还需要从信息中挖掘出相互的关系。比如财经搜索，当搜索某个公司股票的时候，该公司的高管是不是也应该被挖掘出来呢？如果仅仅搜索出这个公司的股票发现涨的特别好，于是你就去买了，其实其高管发了一个声明，对股票十分不利，第二天就跌了，这不坑害广大股民么？所以用各种算法挖掘数据中的关系，形成知识库，十分重要。

第3个回答 2019-07-12

最近写了好多大数据分析的文章，《大数据分析十八般工具》、《剖析大数据分析就业前景》、《大数据分析是什么》、《大数据分析12大就业方向》等，好多同学问我大数据分析流程是什么，要小编姐姐整理一下，分享出来，今天我们就说说大数据分析流程是什么?

一、大数据分析流程图

1.1 数据处理流程

该项目是一个纯粹的大数据分析项目，其整体流程基本上就是依据数据的处理流程进行，依此有以下几个大的步骤：

1) 数据采集

首先，通过页面嵌入JS代码的方式获取用户访问行为，并发送到web服务的后台记录日志;然后，将各服务器上生成的点击流日志通过实时或批量的方式汇聚到HDFS文件系统中;一个综合分析系统，数据源可能不仅包含点击流数据，还有数据库中的业务数据(如用户信息、商品信息、订单信息等)及对分析有益的外部数据。

2) 数据预处理

通过mapreduce程序对采集到的点击流数据进行预处理，比如清洗，格式整理，滤除脏数据等

3) 数据入库

将预处理之后的数据导入到HIVE仓库中相应的库和表中

4) 数据分析

项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果

5) 数据展现

将分析所得数据进行可视化

1.2 项目结构

由于本项目是一个纯粹大数据分析项目，其整体结构亦跟分析流程匹配，并没有特别复杂的结构，如下图：

其中，需要强调的是：系统的大数据分析不是一次性的，而是按照一定的时间频率反复计算，因而整个处理链条中的各个环节需要按照一定的先后依赖关系紧密衔接，即涉及到大量任务单元的管理调度，所以，项目中需要添加一个任务调度模块

1.3 数据展现

数据展现的目的是将分析所得的数据进行可视化，以便运营决策人员能更方便地获取数据，更快更简单地理解数据，下面是对独立访客的数据分析展现示例：

二、大数据分析的5个方面

1.、Analytic Visualizations(可视化分析)

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。零基础学大数据分析现实吗

2.、Data Mining Algorithms(数据挖掘算法)

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

3.、Predictive Analytic Capabilities(预测性分析能力)

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4.、Semantic Engines(语义引擎)

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5.、Data Quality and Master Data Management(数据质量和数据管理)

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据分析能给我们带来的好处，而不仅仅是挑战。

6、数据存储，数据仓库

数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。

三、大数据项目开发步骤：

第一步：需求：数据的输入和数据的产出;

第二步：数据量、处理效率、可靠性、可维护性、简洁性;

第三步：数据建模;

第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构;

第五步：再次思考大数据系统和企业IT系统的交互;

第六步：最终确定选择、规范等;

第七步：基于数据建模写基础服务代码;

第八步：正式编写第一个模块;

第九步：实现其它的模块，并完成测试和调试等;

第十步：测试和验收;

四、大数据分析流程