数据的处理有哪些方法

① 数据处理的方法有哪些，有什么优缺点

数据处理主要有四种分类方式
①根据处理设备的结构方式区分，有联机处理方式和脱机处理方式。
②根据数据处理时间的分配方式区分，有批处理方式、分时处理方式和实时处理方式。
③根据数据处理空间的分布方式区分，有集中式处理方式和分布处理方式。
④根据计算机中央处理器的工作方式区分，有单道作业处理方式、多道作业处理方式和交互式处理方式。
数据处理对数据（包括数值的和非数值的）进行分析和加工的技术过程。包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。比数据分析含义广。随着计算机的日益普及，在计算机应用领域中，数值计算所占比重很小，通过计算机数据处理进行信息管理已成为主要的应用。如测绘制图管理、仓库管理、财会管理、交通运输管理，技术情报管理、办公室自动化等。在地理数据方面既有大量自然环境数据（土地、水、气候、生物等各类资源数据），也有大量社会经济数据（人口、交通、工农业等），常要求进行综合性数据处理。故需建立地理数据库，系统地整理和存储地理数据减少冗余，发展数据处理软件，充分利用数据库技术进行数据管理和处理。
计算机数据处理主要包括8个方面。
①数据采集:采集所需的信息。
②数据转换：把信息转换成机器能够接收的形式。
③数据分组：指定编码，按有关信息进行有效的分组。
④数据组织：整理数据或用某些方法安排数据，以便进行处理。
⑤数据计算：进行各种算术和逻辑运算，以便得到进一步的信息。
⑥数据存储：将原始数据或计算的结果保存起来,供以后使用。
⑦数据检索:按用户的要求找出有用的信息。
⑧数据排序：把数据按一定要求排成次序。

② 数据整理的好方法有哪些

1、整理数据的常用方法有：⑴归纳法: 可应用直方图、分组法、层别法及统计解析法。⑵演绎法: 可应用要因分析图、散布图及相关回归分析。⑶预防法: 通称管制图法，包括Pn管制图、P管制图、C管制图、U管制图、管制图、X-Rs管制图。

2、数据整理是对调查、观察、实验等研究活动中所搜集到的资料进行检验、归类编码和数字编码的过程。它是数据统计分析的基础。

3、整理数据的步骤：⑴原始数据之审核。⑵分类项目之确定。⑶施行归类整理。⑷列表。⑸绘图。

③ 数据处理的常用方式

数据分析与处理方法：
采集
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。

④ 大数据技术常用的数据处理方式有哪些

大数据技术常用的数据处理方式，有传统的ETL工具利用多线程处理文件的方式；有写MapRece，有利用Hive结合其自定义函数，也可以利用Spark进行数据清洗等，每种方式都有各自的使用场景。

在实际的工作中，需要根据不同的特定场景来选择数据处理方式。

1、传统的ETL方式

传统的ETL工具比如Kettle、Talend、Informatica等，可视化操作，上手比较快，但是随着数据量上升容易导致性能出问题，可优化的空间不大。

2、Maprece

写Maprece进行数据处理，需要利用java、python等语言进行开发调试，没有可视化操作界面那么方便，在性能优化方面，常见的有在做小表跟大表关联的时候，可以先把小表放到缓存中(通过调用Maprece的api)，另外可以通过重写Combine跟Partition的接口实现，压缩从Map到rece中间数据处理量达到提高数据处理性能。

3、Hive

在没有出现Spark之前，Hive可谓独占鳌头，涉及离线数据的处理基本都是基于Hive来做的，Hive采用sql的方式底层基于Hadoop的Maprece计算框架进行数据处理，在性能优化上也不错。

4、Spark

Spark基于内存计算的准Maprece，在离线数据处理中，一般使用Spark sql进行数据清洗，目标文件一般是放在hdf或者nfs上，在书写sql的时候，尽量少用distinct，group by recebykey 等之类的算子，要防止数据倾斜。

⑤ 常用数据分析处理方法有哪些

1、漏斗分析法

漏斗分析法能够科学反映用户行为状态，以及从起点到终点各阶段用户转化率情况，是一种重要的分析模型。漏斗分析模型已经广泛应用于网站和APP的用户行为分析中，例如流量监控、CRM系统、SEO优化、产品营销和销售等日常数据运营与数据分析工作中。

2、留存分析法

留存分析法是一种用来分析用户参与情况和活跃程度的分析模型，考察进行初始行为的用户中，有多少人会进行后续行为。从用户的角度来说，留存率越高就说明这个产品对用户的核心需求也把握的越好，转化成产品的活跃用户也会更多，最终能帮助公司更好的盈利。

3、分组分析法

分组分析法是根据数据分析对象的特征，按照一定的标志(指标)，把数据分析对象划分为不同的部分和类型来进行研究，以揭示其内在的联系和规律性。

4、矩阵分析法

矩阵分析法是指根据事物(如产品、服务等)的两个重要属性(指标)作为分析的依据，进行分类关联分析，找出解决问题的一种分析方法，也称为矩阵关联分析法，简称矩阵分析法。