数据质量管理方法如何设计稽核点

❶ 数据质量控制通常做法

数据质量控制通常做法如下：
步骤一：探查数据内容、结构和异常。探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。
步骤二：建立数据质量度量并明确目标。Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。
步骤三：设计和实施数据质量业务规则。明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。
步骤四：将数据质量规则构建到数据集成过程中。
步骤五：检查异常并完善规则。
步骤六：对照目标，监测数据质量。

❷ 数据质量管理的MTC-DQM 数据质量管理的方法与步骤

熟悉六西格玛管理的人应该知道，六西格玛强调以事实驱动管理。但事实是用数据说话。映射到六西格玛管理方法，MTC-DQM推荐采用十步数据质量管理方法。
1. 定义和商定问题、时机和目标，以指导整个数据质量管理的工作。
2. 收集、汇总、分析有关形式和信息环境。设计设计捕获和评估的方案。
3. 按照数据质量维度对数据质量进行评估。
4. 使用各种技术评估劣质数据对业务产生的影响。
5. 确定影响数据质量的真实原因，并区分这些原因的影响的数据质量的级别。
6. 最终确定行动的建议，为数据质量改善制定方案，包括数据级和组织级的。
7. 建立数据错误预防方案，并改正当前数据问题。
8. 通过改进组织管理流程，最大限度控制由管理上的缺陷造成的数据质量问题。
9. 对数据和管理实施监控，维护已改善的效果。
10.沟通贯穿管理始终，循环的评估组织管理流程，以确保数据质量改善的成果得到有效保持。

❸ 社会保险数据质量稽核主要围绕哪三方面内容展开

法律分析：社保稽核简单来说就是社保机构检查用人单位缴纳社会保险的情况。其具有促进社会保险基金的征缴、防止社保基金的流失、促进参保企业公平竞争、提高社保管理质量等作用。其最终目的就是要维护参保人员的合法权益，这样才能保证社会保险待遇按照国家法律和政策规章顺利的执行下去，对于维护社会保险事业稳定和发展有很好的作用。

法律依据：《中华人民共和国基本医疗卫生与健康促进法》 第一百零四条 违反本法规定，以欺诈、伪造证明材料或者其他手段骗取基本医疗保险待遇，或者基本医疗保险经办机构以及医疗机构、药品经营单位等以欺诈、伪造证明材料或者其他手段骗取基本医疗保险基金支出的，由县级以上人民政府医疗保障主管部门依照有关社会保险的法律、行政法规规定给予行政处罚。

❹ 数据质量包括什么方面

数据质量包括数据质量控制和数据治理。

数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。

一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目，业务部门与 IT 部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。

(4)数据质量管理方法如何设计稽核点扩展阅读：

控制方法：

1、探查数据内容、结构和异常

第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。

2、建立数据质量度量并明确目标

Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。

3、设计和实施数据质量业务规则

明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。

4、将数据质量规则构建到数据集成过程中

Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。

数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。

5、检查异常并完善规则

在执行数据质量流程后，大多数记录将会被清洗和标准化，并达到企业所设定的数据质量目标。然而，无可避免，仍会存在一些没有被清洗的劣质数据，此时则需要完善控制数据质量的业务规则。Informatica Data Quality可捕获和突显数据质量异常和异常值，以便更进一步的探查和分析。

5、对照目标，监测数据质量

数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。

Informatica Data Quality包括一个记分卡工具，而仪表板和报告选项则具备更为广泛的功能，可进行动态报告以及以更具可视化的方式呈现。

❺ 提高数据质量的步骤和措施

由于大多数系统和应用程序会持续不断接收到新数据，数据量也在不断增加，因此确保数据质量并不是一次就能完成的。所有企业都应该使用一种反复进行的阶段性过程来管理数据质量，此过程包括数据质量评估、规划以及策略的选择和实施。

第一步对数据质量进行评估。评估当前的数据质量状态是第一步。对数据质量进行评估能帮助企业准确地了解数据的内容、质量和结构。主管人员参与数据质量评估以及分析在数据检查过程中发现的问题对于数据质量评估来说都很重要。在最有效的数据质量评估中，所有问题都将按照对业务影响从大到小的顺序列出，这将帮助IT机构节省项目成本。

第二步，制订数据质量计划。彻底了解企业数据的内容和质量后，接下来的步骤是制订一个计划，来修改当前的错误并避免未来错误的发生。有效的计划不但可以提高企业当前所有应用程序中数据的质量，还将制定一些方式以确保新应用程序从一开始就遵循数据质量规则。

第三步，选择和实施数据质量策略。选择改善企业数据质量的策略，要求决策者权衡每个数据质量计划的成本以及该策略产生的影响。目前的策略类型有两种: 在企业输入数据时提高数据质量的方法称为“上游”方法，而从运营系统提取数据的应用程序(如数据仓库)中改善数据质量的方法是“下游”方法。

上游策略研究当前应用程序的逻辑、数据和流程，解决检查过程中发现的异常情况。此策略可能涉及到更改应用程序逻辑、添加更好的表验证、改善与数据输入相关的流程，它致力于企业数据的高准确性。另外，此策略还要求使用应用程序本身附带的数据质量功能。

下游策略解决目标应用程序或数据仓库(而非数据源)中的数据质量问题。由于数据可以根据需要随时进行修改，所以企业能够在流程(尤其是数据转换、名称和地址清洗以及查找验证)中改善数据质量。下游策略仅为目标应用程序或数据仓库改善数据质量，但与上游策略相比，它的实施过程更简单，成本更低。

1. 建立数据的标准，明确数据的定义。

通常，独立的应用系统会有一个比较模糊的、有时也会有比较清晰的数据标准和数据定义。为了保证系统的正常运行，这些系统的用户必须在数据的标准和数据的定义上达成一致。不过，这些标准和定义大多数时候与企业中其他系统中的数据标准和定义并不一致。因此，需要从整个企业的角度出发，建立统一的数据标准和数据定义，同时，整个企业必须就这个数据标准和数据定义达成共识。这一句话说起来容易做起来难。因为人通常本能地会拒绝改变，改变数据标准和定义并不是轻而易举的。为此，强烈建立在企业中除了设立一个高管级别的数据质量管理委员会外，还需要选定一个执行能力强的项目负责人，需要他推动相关人员接受新的`数据标准和定义。

在具体建立新的数据标准和数据定义时，需要仔细权衡，哪些定义和标准是出于企业内部的原因(比如出于方便、习惯等)制订的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。相对而言，前者更容易执行一些。

2. 建立一个可重复的数据收集、数据修改和数据维护流程。

数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日，因此，企业在制订数据质量的保证措施和数据质量指标时，必须保证这些措施和指标能够不断重复。

3. 在数据转化流程中设立多个性能监控点。

数据的质量高低可以根据最终用户的需求来评价，也可以通过与同类数据源的比较来评价，还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时，比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是，等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较，从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度，那么，这些中间指标的达标也预示着项目的最终成功。

4. 对流程不断进行改善和优化。

我们常常听到有人说，他们制订了很多办法来迅速而且大幅度提升数据的质量，但很少听说最后他们能真正得到满意的结果。其原因就在于数据的质量改进绝非一朝一夕的事情，而是一个持续的过程。正确的办法是通过一个不断改进的流程，持续不断地排除错误、对数据进行整合和标准化，最后达到流程的自动化，从而降低数据质量保证计划的总体开销。实际上，排除错误、数据整合和数据标准化从来就不是一件容易的事情。数据质量管理计划的负责人将配合公司高管组成的数据质量管理委员会来保证这个流程的顺利执行。要注意的是，作为该项目的负责人，不能墨守成规，仅仅因为自己以前一向采用某种方法，就要求别人也必须采用这一方法，特别是当发现这些方法成本高昂的时候，就应该考虑换一种方式了。

5. 把责任落实到人。

通常，我们认为那些与数据的产生、维护相关的人员是负责任的，但是，很有可能，他们有很多其他的工作要做，因此作为数据质量的负责人光有善良的想法是难以提高数据的质量，很有可能一辈子也达不到目标。对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人，应该给他们的活动制订明确的指标，这样他们才能真正理解人们到底希望他们达到什么目标。更重要的，他们还需要针对这些指标细化对他们自己的要求，当然，他们会因为达到或者超过这些指标而得到奖励。其中，一个执行力强的负责人的价值体现出来，他会针对具体情况适时调整数据质量的目标。

最后，再次强调考虑与数据管理和数据质量的改进项目有关的人的因素，他们的行为是非常重要的。从某种程度上说，要比具体选择什么软件要重要得多。上述5点有助于帮助组织规范数据质量管理中与人有关的流程。

❻ 数据质量管理的分析影响数据质量的因素

影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素。
信息因素：产生这部分数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质（如：数据源规格不统一）得不到保证和变化频度不恰当等。
技术因素：主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。
流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。
管理因素：是指由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。

❼ 浅谈数据质量管理：为了更清醒的数据

战战兢兢地写下标题，得意下“清醒”这个词用得真是独树一帜，跟外面那些妖艳贱货好不一样。我们常常说人要时刻保持清醒，这样才能不被假象所蒙蔽。那数据其实更需要这点，我们需要透过数据挖掘本质，如果数据是不具备完整人格的，缺失完整性、规范性、一致性等维度，那么我们看到的本质也是偏差的。开篇先鬼扯一下，详情请往下滑~

数据质量管理是指为了满足信息利用的需要，对信息系统的各个信息采集点进行规范，包括建立模式化的操作规程、原始信息的校验、错误信息的反馈、矫正等一系列的过程。

为什么有这么多人强调改善数据质量管理的重要性，用一种很抽象的比喻描述，如果把整个数据应用比作人体的话，那好的数据就相当于新鲜和沸腾的血液，能让我们的身体充满活力，高效地工作思考。而质量差的血液携带废物和毒素，随着毒素越积越多，血液以及血管就会发生病变，血液流经的全身各处器官也会大受影响。如果非要要具体的数据证明，我摘取了一些专家的统计：

那什么会影响数据质量呢？其实简单就分为2个因素。

在此附上数据的生命周期图，包括各环节的数据流转和数据处理。

那怎么样才算质量好的数据呢？借用数据质量评估六要素，顺便附上自己的一些解析：

如何通过具体工作来贯彻落实数据质量管理呢？由于数据质量管理是贯穿数据整个生命周期的，所以根据数据的各环节进行分点描述：

数据稽核是指实现数据的完整性和一致性检查，提升数据质量，数据稽核是一个从数据采集，预处理，比对，分析，预警，通知，问题修复的完整数据质量管控链条。

1、配置校验规则，例如字段映射等。
2、配置调度规则，例如调度频率等。
3、配置报表模板，例如稽核结果等。

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

如何保证数据质量？
数据分析师必修课（1）——数据质量评估
浅谈数据质量管理
利用数据质量规则库推动数据质量管理
主数据-数据质量管理
谈数据稽核(3)
中兴软创-数据稽核系统解决方案

❽ 2020-03-16提升现场管理人员能力以及IPQC/IPQA现场稽核效果的思路和方法

TIPS:

认知在行前，知行合一；

事务性的稽核常常被忽视；

没有检查就没有执行力，如何开展检查也非常重要。

案例：

客户A投诉一个批次LCD（夹PIN产品）的包装方法和原有方式不一致。原有方式是最上层为一个空吸塑盘，投诉批次来料最上层为一个纸板。

QE组织调查事实如下：

     整个投诉批次包装方式错误；

     错误发生在A客户产品首次从1车间转到2车间生产；

     产品规格书有清楚写明包装材料和数量；资料里没有写要使用纸板；

     纸板是LCD常规包装方式和使用材料；

QE和相关管理人员分析认为原因如下：

     《规格书》只有数量，没有具体方法和注意事项，不够直观；

     吸塑包装和泡沫盒包装差异包装作业员和OQA均按照常规包装方式进行打包，没有认真核对《规格书》；

     1车间和2车间包装流程上对于OQA的监控点存在差异；需要按照1车间方式；

     包装资料只有文字描述，没有包装图纸；

改进的对策

     设计开发增加包装图纸文件；

     OQA监控点调整；

     对包装作业员和OQA进行培训；

这是一个标准的问题处理流程和方法，问题至此关闭。

但是，我们是否还能够进一步检讨为什么会出现这样的问题？

我个人认为，出现此批次包装错误的根本原因是“ 包装作业员和OQA没有按照作业规范要求查核《规格书》的包装要求 ”。在第一种描述性的包装要求中，根本没有出现纸板这个物料，而我们作业员却使用了，因为他是凭着记忆和其他产品的包装方式来作业的。根据这个推测就是没有核查《规格书》。如果不执行核查，那么资料做的再完善，即使是做成动画，也没有任何的意义，因为文I件根本不会被“触发”（查看）而产生价值。

那么，为什么作业员可以不按照按照规范作业呢？因为我们的现场管理人员，或者IPQC/IPQA从来没有巡查过这些事务性的内容执行情况。

为什么我们不没有这样做呢？因为我们对于事务性的执行巡查/稽核存在思路和方法上的不足。    

IPQC的巡查，主要是针对产品和设备的参数进行点检或者稽核的。比如LCD贴片首检，对POL使用的型号、底色、LCD电压、型号等进行检查。这些都是对产品的；比如设备的气压设定、温度设定等等参数点检。

 IPQA巡查，主要是针对流程的执行是否开展。比如IPQC是否进行了首检检查，已经首检检查OK后才能作业。作业员是否SOP进行巡查，点检并记录。

这些都是有明确的检查对象，他们都是物，指向明确，判定不存在模糊地带，只有“正确”后者“不正确”两种状态，巡查/稽核都有明确的记录或者表格，已证明相关人员做了这件事情。

一般的体系是这样要求我们的。

那么，对于此案例中的“包装作业员和OQA按照作业规范要求查核《规格书》的包装要求”这样的规定，我们的巡查/稽核是忽略的，而且我们的IPQC/IPQA也不知道如何开展巡查/稽核。

     如果我们问作业员，你作业前按照规范查文件了吗？他一定会回答“按照要求做了”。这样的稽核效果为零；

     我们不知道作业员什么时候查文件，因为包装作业的触发具有动态性；

     一般来讲，这类事务性的工作是没有要求做记录的，因此没有载体来证明他/她是否真的执行了。

通常，我们的现场管理人员遇到这种情况，就是三种选择：

    1.思维认知还不会触及这个问题；就是我们案例中的到了前面的措施就结束了，问题得到“关闭”。

我们现在在探讨这个问题。

    2.“笨”对策。

当我们在讨论这个问题深入的时候，我们经常会想到的对策是“制作一个表格，让作业员查了文件后做一个记录”。这个是典型的“笨”对策，因为它增加了作业人员的无价值的工作，而且是为了避免一个错误率非常低的事务性工作给出一个持久性的、耗时的事务性作业规定。此类对策我们一般称为“领导生病了要员工吃药”的措施。

    3.束手无策；

那么我们应该如何来改善这个问题呢？还是要采用最基本的核心方法： PDCA!

P（Plan 策划）

我们已经从思想上认知到了事务性的工作也是要进行稽核以保证被得到执行；

我们已改如何来执行稽核？

     熟悉和掌握包装作业员和OQA查询《规格书》的方式和方法。包括通常在什么时候查《规格书》，如何查核，在临时插单的情况下如何查询，在首次量产的情况下如何查询。

     通过作业的规律和时间定确定稽核的方式；

     在首次量产时稽核（抽查）；

     在作业员经常查《规格书》的时间段来稽核；

     “钓鱼”稽核方式；

     将稽核的方式、方法编写到《XXX巡查表》中，并制定稽核时间（比如每周一次或两周一次等）；

     将其他事务性的稽核内容进行整合，使得工作安排合理。

D（Do 执行）

     执行需要足够的技巧和耐心；

C（Check检查）

     进行检讨；

A（Act改进）

     改进提高；

因此，对于现场管理人员的工作，IPQC/IPQA等人员，对事务性的稽查的思路更重要，当我们认知到了，执行也要跟上，要做到“知行合一”！同时，我们的质量管理人员要将这些方法、思路分享给我们的其他部门的人员，才能得到他们更多的支持，将大家统一到一个战线上来。

❾ 数据质量的控制方法

一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目，业务部门与 IT 部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。
Informatica 的六步法为帮助指导数据质量控制而设计，从初始的数据探查到持续监测以及持续进行的数据优化。业务部门与 IT 部门的数据使用者 — 业务分析师、数据管理员、IT 开发人员和管理员，能够在六个步骤的每一步中协同使用 Informatica 数据质量解决方案；并在整个扩展型企业的所有数据领域和应用程序中嵌入数据质量控制。
步骤一：探查数据内容、结构和异常
第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。
步骤二：建立数据质量度量并明确目标
Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。
步骤三：设计和实施数据质量业务规则
明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。
步骤四：将数据质量规则构建到数据集成过程中
Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。
步骤五：检查异常并完善规则
在执行数据质量流程后，大多数记录将会被清洗和标准化，并达到企业所设定的数据质量目标。然而，无可避免，仍会存在一些没有被清洗的劣质数据，此时则需要完善控制数据质量的业务规则。Informatica Data Quality可捕获和突显数据质量异常和异常值，以便更进一步的探查和分析。
步骤六：对照目标，监测数据质量
数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。Informatica Data Quality包括一个记分卡工具，而仪表板和报告选项则具备更为广泛的功能，可进行动态报告以及以更具可视化的方式呈现。 上面介绍的Informatica六步法，该方法运用Informatica数据质量解决方案，提供公司所需要的各种数据质量管理能力，并确保其所有数据均是完整的、一致的、准确的、通用的。该解决方案包括几个针对特定用途优化的组件：
Informatica Data Explorer运用基于角色的工具可促进业务部门与IT部门之间的协作，该数据探查软件发现和分析任何来源中任何类型数据的内容、结构和缺陷。
Informatica Data Quality软件执行清洗、解析、标准化和匹配流程并使得可视记分卡和仪表盘上的持续监测得以进行。与Informatica data Explorer类似，它特有基于角色的工具，业务部门和IT部门可以借此得以协同工作。
Informatica Identity Resolution软件能使各机构从60多个国家/地区以及各企业和第三方应用程序中搜寻和匹配一致数据。 Informatica数据质量解决方案为业务部门与IT部门间的协作提供基础。其基于角色的工具特色设计使得业务分析师、数据管理员、IT开发人员和管理员能够充分利用他们独特的技能体系，并在流程中与所有相关人员沟通。
Informatica Analyst:适用于业务分析师和数据管理员。通过用语义术语表述数据，该款基于浏览器的工具使分析师和数据管理员能够探查数据、创建和分析质量记分卡、管理异常记录、开发和使用规则，以及与IT部门展开协作。
Informatica Developer: 适用于IT开发人员。这个基于Eclipse的开发环境允许开发人员发现、访问、分析、探查和清晰处于任何位置的数据。开发人员可以为逻辑数据对象建模，将数据质量规则与复杂转换逻辑合并，并在逻辑制定后，进行中游探查以验证和调试逻辑。
Informatica Administrator: 适用于IT管理员。该工具为IT管理员带来集中配置和管理的能力。管理员可以监测和管理安全性、用户访问、数据服务、网格和高可用性配置。

❿ 如何理解关于数据质量管理系统的整合与优化

1、信息系统数据质量——根据“垃圾进，垃圾出（garbagein，garbageout）”的原理，为了使信息系统建设取得预期效果，达到数据决策的目标，就要求信息系统提供的数据是可靠的，能够准确反应客观事实。如果数据质量得不到保证，即使数据分析工具再先进，模型再合理，算法再优良，在充满“垃圾”的数据环境中也只能得到毫无意义的垃圾信息，系统运行的结果、作出的分析就可能是错误的，甚至影响到后续决策的制定和实行。高质量的数据来源于数据收集，是数据设计以及数据分析、评估、修正等环节的强力保证。因此，信息系统数据质量管理尤为重要，这就需要建立一个有效的数据质量管理体系，尽可能全面发现数据存在的问题并分析原因，以推动数据质量的持续改进。作为信息系统的重要构成部分，数据质量问题是影响信息系统运行的关键因素，直接关系到信息系统建设的成败。
2、大数据环境下数据质量管理面临的挑战，因为大数据的信息系统更容易产生数据质量问题：
（1）在数据收集方面，大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。
（2）由于规模大，大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理，远远处理不了大数据环境下的数据问题。
（3）由于高速性，数据的大量更新会导致过时数据迅速产生，也更易产生不一致数据。
（4）由于发展迅速，市场庞大，厂商众多，直接产生的数据或者产品产生的数据标准不完善，使得数据有更大的可能产生不一致和冲突。
（5）由于数据生产源头激增，产生的数据来源众多，结构各异，以及系统更新升级加快和应用技术更新换代频繁，使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象，再加上数据收集与集成往往由多个团队协作完成，期间增大了数据处理过程中产生问题数据的概率。
3、数据质量管理策略
为了改进和提高数据质量，必须从产生数据的源头开始抓起，从管理入手，对数据运行的全过程进行监控，密切关注数据质量的发展和变化，深入研究数据质量问题所遵循的客观规律，分析其产生的机理，探索科学有效的控制方法和改进措施；必须强化全面数据质量管理的思想观念，把这一观念渗透到数据生命周期的全过程。
结合大数据的参考框架及数据处理实际需求情况，数据质量管理可以从以下几个方面着手，以多方协作改进，最终实现系统数据处于持续高效可用的状态。
3．1建立数据质量评价体系
评估数据质量，可以从如下4个方面来考虑：①完整性：数据的记录和信息是否完整，是否存在缺失情况；②一致性：数据的记录是否符合规范，是否与前后及其它数据集保持统一；③准确性：数据中记录的信息和数据是否准确，是否存在异常或者错误信息；④及时性：数据从产生到可以查看的时间间隔，也叫数据的延时时长。
有了评估方向，还需要使用可以量化、程序化识别的指标来衡量。通过量化指标，管理者才可能了解到当前数据质量，以及采取修正措施之后数据质量的改进程度。而对于海量数据，数据量大、处理环节多，获取质量指标的工作不可能由人工或简单的程序来完成，而需要程序化的制度和流程来保证，因此，指标的设计、采集与计算必须是程序可识别处理的。
完整性可以通过记录数和唯一值来衡量。比如某类的交易数据，每天的交易量应该呈现出平稳的特点，平稳增加、平稳增长或保持一定范围内的周期波动。如果记录数量出现激增或激减，则需要追溯是在哪个环节出现了变动，最终定位是数据问题还是服务出现了问题。对于属性的完整性考量，则可以通过空值占比或无效值占比来进行检查。
一致性检验主要是检验数据和数据定义是否一致，因此可以通过合规记录的比率来衡量。比如取值范围是枚举集合的数据，其实际值超出范围之外的数据占比，比如存在特定编码规则的属性值不符合其编码规则的记录占比。还有一些存在逻辑关系的属性之间的校验，比如属性A取某定值时，属性B的值应该在某个特定的数据范围内，都可以通过合规率来衡量。
准确性可能存在于个别记录，也可能存在于整个数据集上。准确性和一致性的差别在于一致性关注合规，表示统一，而准确性关注数据错误。因此，同样的数据表现，比如数据实际值不在定义的范围内，如果定义的范围准确，值完全没有意义，那么这属于数据错误。但如果值是合理且有意义的，那么可能是范围定义不够全面，则不能认定为数据错误，而是应该去补充修改数据定义。
通过建立数据质量评价体系，对整个流通链条上的数据质量进行量化指标输出，后续进行问题数据的预警，使得问题一出现就可以暴露出来，便于进行问题的定位和解决，最终可以实现在哪个环节出现就在哪个环节解决，避免了将问题数据带到后端及其质量问题扩大。
3．2落实数据质量信息的采集、分析与监控
有评价体系作为参照，还需要进行数据的采集、分析和监控，为数据质量提供全面可靠的信息。在数据流转环节的关键点上设置采集点，采集数据质量监控信息，按照评价体系的指标要求，输出分析报告。
3．3建立数据质量的持续改进工作机制
通过质量评价体系和质量数据采集系统，可以发现问题，之后还需要对发现的问题及时作出反应，追溯问题原因和形成机制，根据问题种类采取相应的改进措施，并持续跟踪验证改进之后的数据质量提升效果，形成正反馈，达到数据质量持续改良的效果。在源头建立数据标准或接入标准，规范数据定义，在数据流转过程中建立监控数据转换质量的流程和体系，尽量做到在哪发现问题就在哪解决问题，不把问题数据带到后端。
导致数据质量产生问题的原因很多。有研究表示，从问题的产生原因和来源，可以分为四大问题域：信息问题域、技术问题域、流程问题域和管理问题域。信息类问题是由于对数据本身的描述、理解及其度量标准偏差而造成的数据质量问题。产生这类数据质量问题的主要原因包括：数据标准不完善、元数据描述及理解错误、数据度量得不到保证和变化频度不恰当等。技术类问题是指由于在数据处理流程中数据流转的各技术环节异常或缺陷而造成的数据质量问题，它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题主要产生在数据创建、数据接入、数据抽取、数据转换、数据装载、数据使用和数据维护等环节。流程类问题是指由于数据流转的流程设计不合理、人工操作流程不当造成的数据质量问题。所有涉及到数据流转流程的各个环节都可能出现问题，比如接入新数据缺乏对数据检核、元数据变更没有考虑到历史数据的处理、数据转换不充分等各种流程设计错误、数据处理逻辑有缺陷等问题。管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题。比如数据接入环节由于工期压力而减少对数据检核流程的执行和监控、缺乏反馈渠道及处理责任人、相关人员缺乏培训和过程资产继承随之带来的一系列问题等。
了解问题产生的原因和来源后，就可以对每一类问题建立起识别、反馈、处理、验证的流程和制度。比如数据标准不完善导致的问题，这就需要有一整套数据标准问题识别、标准修正、现场实施和验证的流程，确保问题的准确解决，不带来新的问题。比如缺乏反馈渠道和处理责任人的问题，则属于管理问题，则需要建立一套数据质量的反馈和响应机制，配合问题识别、问题处理、解决方案的现场实施与验证、过程和积累等多个环节和流程，保证每一个问题都能得到有效解决并有效积累处理的过程和经验，形成越来越完善的一个有机运作体。
当然，很多问题是相互影响的，单一地解决某一方面的问题可能暂时解决不了所发现的问题，但是当多方面的持续改进机制协同工作起来之后，互相影响，交错前进，一点点改进，最终就会达到一个比较好的效果。
3．4完善元数据管理
数据质量的采集规则和检查规则本身也是一种数据，在元数据中定义。元数据按照官方定义，是描述数据的数据。面对庞大的数据种类和结构，如果没有元数据来描述这些数据，使用者无法准确地获取所需信息。正是通过元数据，海量的数据才可以被理解、使用，才会产生价值。
元数据可以按照其用途分为3类：技术元数据、业务元数据和管理元数据。技术元数据：存储关于信息仓库系统技术细节的数据，适用于开发和管理数据而使用的数据。主要包括数据仓库结构的描述，包括对数据结构、数据处理过程的特征描述，存储方式和位置覆盖整个涉及数据的生产和消费环节。业务元数据：从业务角度描述了数据仓库中的数据，提供了业务使用者和实际系统之间的语义层。主要包括业务术语、指标定义、业务规则等信息。
管理元数据：描述系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责、管理流程等信息。由此可见，本文提出的解决思路都需要元数据管理系统的支持。良好的元数据管理系统能为数据质量的采集、分析、监控、改进提供高效、有力的强大保障。同时，良好的数据质量管理系统也能促进元数据管理系统的持续改进，互相促进完善，共同为一个高质量和高效运转的数据平台提供支持。
4结语
数据质量（DataQuality）管理贯穿数据生命周期的全过程，覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多，数据量在不断加大，新需求推动的新技术也不断诞生，这些都对大数据下的数据质量管理带来了困难和挑战。因此，数据质量管理要形成完善的体系，建立持续改进的流程和良性机制，持续监控各系统数据质量波动情况及数据质量规则分析，适时升级数据质量监控的手段和方法，确保持续掌握系统数据质量状况，最终达到数据质量的平稳状态，为业务系统提供良好的数据保障。