‘壹’ 如何有效地进行数据挖掘和分析
大数据分析处理解决方案
方案阐述
每天，中国网民通过人和人的互动，人和平台的互动，平台与平台的互动，实时生产海量数据。这些数据汇聚在一起，就能够获取到网民当下的情绪、行为、关注点和兴趣点、归属地、移动路径、社会关系链等一系列有价值的信息。
数亿网民实时留下的痕迹，可以真实反映当下的世界。微观层面，我们可以看到个体们在想什么，在干什么，及时发现舆情的弱信号。宏观层面，我们可以看到当下的中国正在发生什么，将要发生什么，以及为什么？借此可以观察舆情的整体态势，洞若观火。
原本分散、孤立的信息通过分析、挖掘具有了关联性，激发了智慧感知，感知用户真实的态度和需求，辅助政府在智慧城市，企业在品牌传播、产品口碑、营销分析等方面的工作。
所谓未雨绸缪，防患于未然，最好的舆情应对处置莫过于让舆情事件不发生。除了及时发现问题，大数据还可以帮我们预测未来。具体到舆情服务，舆情工作人员除了对舆情个案进行数据采集、数据分析之外，还可以通过大数据不断增强关联舆情信息的分析和预测，把服务的重点从单纯的收集有效数据向对舆情的深入研判拓展，通过对同类型舆情事件历史数据，及影响舆情演进变化的其他因素进行大数据分析，提炼出相关舆情的规律和特点。
大数据时代的舆情管理不再局限于危机解决，而是梳理出危机可能产生的各种条件和因素，以及从负面信息转化成舆情事件的关键节点和衡量指标，增强我们对同类型舆情事件的认知和理解，帮助我们更加精准的预测未来。
用大数据引领创新管理。无论是政府的公共事务管理还是企业的管理决策都要用数据说话。政府部门在出台社会规范和政策时，采用大数据进行分析，可以避免个人意志带来的主观性、片面性和局限性，可以减少因缺少数据支撑而带来的偏差，降低决策风险。通过大数据挖掘和分析技术，可以有针对性地解决社会治理难题；针对不同社会细分人群，提供精细化的服务和管理。政府和企业应建立数据库资源的共享和开放利用机制，打破部门间的“信息孤岛”，加强互动反馈。通过搭建关联领域的数据库、舆情基础数据库等，充分整合外部互联网数据和用户自身的业务数据，通过数据的融合，进行多维数据的关联分析，进而完善决策流程，使数据驱动的社会决策与科学治理常态化，这是大数据时代舆情管理在服务上的延伸。
解决关键
如何能够快速的找到所需信息，采集是大数据价值挖掘最重要的一环，其后的集成、分析、管理都构建于采集的基础，多瑞科舆情数据分析站的采集子系统和分析子系统可以归类热点话题列表、发贴数量、评论数量、作者个数、敏感话题列表自动摘要、自动关键词抽取、各类别趋势图表；在新闻类报表识别分析归类： 标题、出处、发布时间、内容、点击次数、评论人、评论内容、评论数量等；在论坛类报表识别分析归类： 帖子的标题、发言人、发布时间、内容、回帖内容、回帖数量等。
解决方案
多瑞科舆情数据分析站系统拥有自建独立的大数据中心，服务器集中采集对新闻、论坛、微博等多种类型互联网数据进行7*24小时不间断实时采集，具备上千亿数据量的数据索引、挖掘分析和存储能力，支撑政府、企业、媒体、金融、公安等多行业用户的舆情分析云服务。因此多瑞科舆情数据分析站系统在这方面有着天然优势，也是解决信息数量和信息（有价值的）获取效率之间矛盾的唯一途径，系统利用各种数据挖掘技术将产生人工无法替代的效果，为市场调研工作节省巨大的人力经费开支。
实施收益
多瑞科舆情数据分析站系统可通过对大数据实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。
‘贰’ 数据挖掘技术在客户关系管理中的应用
数据挖掘技术在客户关系管理中的应用
随着计算机技术、网络技术、通讯技术和Internet技术的发展，电子商务中 企业内部会产生了大量业务数据，如何从丰富的客户数据中挖掘有价值的信息，为企业管理者提供有效的辅助决策，是企业真正关心的问题。其中，客户分类是分析 型客户关系管理的重要功能之一。通过客户分类，区分客户的霞要程度，并针对不同霞要级别的客户制定专门的营销方案和客户关系管理策略，可以帮助企业降低营 销成本，提高利润和企业竞争力。客户也可从食业制定的专门的营销方案和客户关系管理策略中获得适合的交易体验。数据挖掘是分析型CRM实现其“分析”功能 的必要手段，也是实现客户分类的有效工具。
1 客户关系管理(CRM)
CRM(Customer Relation Managemen)是一种旨在改善企业与客户之间关系的新型管理机制，它实施于企业的市场营销、销售、服务与技术支持等领域，它的目标是提供更优质、更快捷的服务吸引并保持客户，通过业务流程的全面管理降低仓业成本。
在电子商务环 境下，CRM使网站企业在所有的业务环节下更好地满足客户需求以及提供更优质的服务，从而使站点企业在这种不存在时空差异的新型商务环境中保留现有客户和 发掘潜在客户。以提高市场竞争力。同时CRM又可以提供客户需求、市场分布、回馈信息等重要信息，为企业和经营活动提供智能化分析的依据，因此，CRM为 企业带来了成功实现电子商务的基础。
个性化服务是增强竞争力的有力武器，CRM就是以客户为中心并为客户提供最合适的服务。互联网成为 实施客户关系管理应用的理想渠道，记住顾客的名字及他们的偏好，根据顾客的不同而提供不同内容，顾客再次光顾的可能性会大大增加。CRM可以增加客户忠诚 度，提高购买比率，使每个顾客产生更多的购买需求，及更长时间的需求，并提高顾客满意度。
2 数据挖掘技术
如何对这些海量的数据进行分析发现，为商业决策提供有价值的信息，使企业获得利润，强有力的工具就是数据挖掘。
在分析型CRM系统中，数据挖掘是其中的核心技术，数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。对于企业而言，数据挖掘 可以有助于发现业务发展的趋势，揭示已知的事实，预测未知的结果，并帮助企业分析出完成任务所需的关键因素，以达到增加收入、降低成本，使企业处于更有利 的竞争位置的目的。
2.1 数据挖掘常用的算法
(1)决策树(decision tree)决策算法。决策树是一个类似于流程图的树结构。其中每个内部节点表示在一个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点代表类或类 分布。决策树算法包括树的构造和树的剪枝，有两种常用的剪枝方法：先剪枝和后剪枝。
(2)神经网络(Neural Network)。神经网络是一组连接的输入，输出单元，其中每个连接都与一个权相连，在学习阶段，通过调整神经网络的权，使得能够预测输入样本的正确类标号来学习。
(3)遗传算法(Genetic Algorithms)。遗传算法根据适者生存的原则，形成由当前群体巾最适合的规则组成新的群体，以及这些规则的后代。遗传算法用于分类和其他优化问题。
(4)粗糙集方法。粗糙集方法基于给定训练数据内部的等价类的建立。它将知识理解为对数据的划分，每一被划分的集合称为概念，利用已知的知识库来处理或刻臧不精确或不确定的知识。粗糙集用于特征归约和相关分析。
(5)模糊集方法。基于规则的分类系统有一个缺点：对于连续属性，他们有陡峭的截断。将模糊逻辑引入，允许定义“模糊”边界，提供了在高抽象层处理的便利。
其它还有贝叶斯网络、可视化技术、临近搜索方法和公式发现等方法。
2.2 数据挖掘常用的分析方法
(1)分类和预测。主要用于客户细分(分群)处理，如价值客户群的分级，分类和预测是两种数据分析形式，可以用于提取描述重要数据类的模型或预测未来的 数姑趋势。数据分类(data elassfication)是一个两步过程，第一步，建立一个模型，描述预定的数据类集或概念集，通过分析有属性描述的数据库元组来构造模型。第二步， 使用模型进行分类。首先评估模犁的预测准确率，如果认为模型的准确率可以接受，就可以用来对类标号未知的数据远祖或对象进行分类。
预测 技术，主要用于对客户未来行为的发现，如客户流失分析中，用神经元网络方法学习各种客户流失前的行为变化，进而预测(预警)可能出现的存价值客户的流失。 预测足构造和使用模型评估无标号样本类，或评估给定样本可能具有的属性值或值区间。分类和预测具有广泛的应用，如信誉证实、医疗诊断、性能预测和选择购 物。分类和预测常用的算法包括决策树归纳、贝叶斯分类、贝叶斯网络、神经网络、K-最临近分类、遗传算法、粗糙集和模糊集技术。
(2) 聚类分析。聚类是将数据对象分组成为多个类或簇(cluster)，在同一个簇中的对象之同具有较高的相似度，而不周簇中的对象差别较大。作为统计学的一 个分支，聚类分析已被广泛的研究了许多年，现在主要集中在基于距离的聚类分析，基于k-means(k-平均值)、k-medoids(k-中心点)和其 他的一些聚类分析工具也有不少的应用。
(3)关联规则。关联规则挖掘给定数据集中项之间的有趣联系。设I＝{i1，i2，…im}是项 的集合，任务相关的数据D是数据库事务的集合，其中每个事务T是项的集合，使得T包含于I。关联规则是形如A=>B的蕴涵式，其中A∈I，B∈I， 并且A∩B为空。关联规则的挖掘分成两步：①找出所有频繁项集，这些项集出现的频繁性至少和预定义的最小支持计数一样。②由频繁项集产生强关联规则。这些 规则必须满足最小支持度和最小置信度。
(4)序列模式。序列模式分析和关联规则分析类似，也是为了挖掘数据项之间的联系，不过序列模式分析的是数据项在时间维上的先后序列关系，如一个顾客在购买了计算机半年后可能再购买财务分析软件。
(5)孤立点分析。孤立点是度量错误或固有的数据变异性的结果。许多数据挖掘算法都试图使孤立点的影响最小，或排除它们。一个人的噪声可能是另一个人的 信号，在有些时候。孤立点是非常有用的。孤立点挖掘可以描述如下：给定一个n个数据点或对象的集合，以及预期的孤立点的数目k，发现与剩余的数据相比是显 着相异的或不一致的头k个对象。孤立点探测方法可分为三类：统计学方法，基于距离的方法和基于偏移的方法。
3 应用方法
3.1 了解业务
最初的阶段，着眼于了解业务特点，并把它还原成为数据分析的条件和参数。例如：在零售行业中，我们的第一个步骤是了解客户购买的频率，购买频率和每次消费金额之间是否有明显的相关关系。
3.2 分析数据
这个阶段着眼于对现有的数据进行规整。我们发现，在不少行业中，可分析的数据和前面提出的分析目标是不匹配的。例如：消费者的月收入水平可能与许多购买 行为相关，但是，原始的数据积累中却不一定具备这螳数据。对这一问题的解决方法是从其它的相关数据中进行推理，例如，通过抽样调查，我们发现，一次性购买 大量卫生纸的客户，其月收入水平集中在1000-3000RMB的档次，如果这一结论基本成立。我们可以从消费习惯中推理出现有客户有多大的百分比是月收 入水平在这个档次中的；另外，可以根据抽样调查的方法。在问卷调查的基础上推理整个样本人群的收入水平曲线。
3.3 数据准备
这个阶段的着眼点是转换、清理和导入数据，可能从多个数据源抽取并加以组合，以形成data cube。对于缺失的少量数据，是用均值补齐，还是忽略，还是按照现有样本分配，这是在这个阶段需要处理的问题之一。
3.4 建模
现在已经有各种各样的模型方法可以利用。让最好的一种应用于我们要着眼的主要问题中。是这个阶段的主要任务。例如，对于利润的预测是否应当采用回归方式预测，预测的基础是什么等，这些问题需要行业专家和数据分析专家协商并达成共识。
3.5 评估与应用
优秀的评估方法是利用不同的时间段，让系统对已经发生的消费情况进行预测，然后比较预测结果和实际状况，这样模型的评估就容易进行了。完成了上述的步骤 之后，多数的分析工具都支持保存并重复应用已经建立起来的模型。更为重要的是，在这个过程中，对数据分析的方法和知识应当已经由客户方的市场分析人员或决 策者所了解，我们提供的，不仅仅是最终结果，而且是获得这一结果的方法。“要把金针度与人”正是TurboCRM咨询服务不同于单纯的软件提供商的区别所 在。
最后，在软件架构方面，分析数据库与运营数据库应当是分离的，避免影响运营数据库在操作方面的的实时响应速度。
4 结束语
数据挖掘可以把大量的客户分成不同的类，在每个类里的客户拥有相似的属性，而不同类里的客户的属性也不同，可以给这两类客户提供完全不同的服务来提高客户的满意度，细致而切实可行的客户分类对企业的经营策略有很大益处。
‘叁’ 数据挖掘技术与客户关系管理的应用综述
数据挖掘技术与客户关系管理的应用综述
企业通过实施客户关系管理，可以降低成本，增加收入，提高业务运作效率。对于每一个面临竞争的公司，数据仓库是必须最终拥有的市场武器。通过它可以更多地了解客户的需求以及处理这些需求的方法。数据挖掘能够对将来的趋势和行为进行预测，从而很好地支持人们的决策。作为专门管理企业前台的客户关系管理为企业提供了一个收集、分析和利用各种客户信息的系统，帮助企业充分利用其客户管理资源，也为企业在电子商务时代从容自如地面对客户提供了科学手段和方法。建立和维持客户关系是取得竞争优势的唯一的最重要的基础， 这是网络化经济和电子商务对传统商业模式变革的直接结果。
1 客户关系管理（CRM）
1.1 内容
CRM的概念由美国Gartner集团率先提出。我们认为，CRM是辨识、获取、保持和增加“可获利客户”的理论、实践和技术手段的总称。它既是一种国际领先的、以“客户价值”为中心的企业管理理论、商业策略和企业运作实践，也是一种以信息技术为手段、有效提高企业收益、客户满意度、雇员生产力的管理软件。
客户关系管理（CRM）源于以“客户为中心”的新型商业模式，是一种旨在改善企业与客户之间关系的新型管理机制。通过向企业的销售、市场和客户服务的专业人士提供全面、个性化的客户资料，并强化跟踪服务、信息分析的能力，使他们能够协同建立和维护一系列与客户和生意伙伴之间卓有成效的“一对一关系”，使企业得以提供更快捷和周到的优质服务、提高客户满意度、吸引和保持更多的客户，增加营业额。通过信息共享和优化商业流程有效地降低企业经营成本。
1.2 CRM解决方案的组成
CRM作为企业管理系统软件，通常由以下三部分组成：
（1）网络化销售管理系统（Sales Distributor Management，SDM）。该模块以市场和销售业务为主导，对销售的流程进行了详细的管理，是销售管理人员进行管理和销售业务员销售自动化的重要工具。它实现了销售过程中对客户的集中管理和协同管理，销售管理人员可以随时对销售情况进行分析，具体功能包括客户接待管理、报价单处理、销售合同管理、回款单处理、综合查询功能、综合统计功能。
（2）客户服务管理系统（Customer Service Management，CSM）。该模块主要对企业的售后服务进行管理，加快售后服务的响应速度，提高客户满意度，对服务人员进行考核，加强对产品质量的监督。
客户服务系统最典型的代表就是呼叫中心环境，通过呼叫中心环境布署并且实现基于电话、Web的自助服务。它们使企业能够以更快的速度和更高的效率来满足其客户的独特需求。由于在多数情况下，客户忠实度和是否能从该客户身上赢利取决于企业能否提供优质的服务，因此，客户服务和支持对许多企业就变得十分关键。
（3）企业决策信息系统（Executive Information System，EIS）。随着电子商务时代的到来， 各行各业业务操作流程的自动化，企业内产生了数以几十或上百GB计的大量业务数据。这些数据和由此产生的信息是企业的财富，它如实地记录着企业运作的本质状况。但是面对如此海量的数据，迫使人们不断寻找新的工具，来对企业的运营规律进行探索，为商业决策提供有价值的知识，使企业获得利润。能满足企业这一迫切需求的强有力的工具就是数据挖掘。
1.3 CRM的实施
CRM项目的实施可以分为3步：①应用业务集成。将独立的市场管理，销售管理与售后服务进行集成，提供统一的运作平台。将多渠道来源的数据进行整合，实现业务数据的集成与共享；②业务数据分析。对CRM系统中的数据进行加工、处理与分析这将使企业受益匪浅。对数据的分析可以采用OLAP的方式进行，生成各类报告。也可以采用业务数据仓库（Business Information Warehouse）的处理手段，对数据做进一步的加工与数据挖掘，分析各数据指标间的关联关系，建立关联性的数据模型用于模拟和预测；③决策执行。依据数据分析所提供的可预见性的分析报告，企业可以将在业务过程中所学到的知识加以总结利用，对业务过程和业务计划等做出调整。[page] 2数据挖掘
2.1 什么是数据挖掘
数据挖掘（data mining）是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解模式的非平凡过程。数据挖掘的广义观点：数据挖掘就是从存放在数据库，数据仓库或其它信息库中的大量的数据中“挖掘”有趣知识的过程。数据挖掘，又称为数据库中知识发现（Knowledge Discovery in Database，KDD），也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程由以下步骤组成：
①数据清理；②数据集成；③数据选择；④数据变换；⑤数据挖掘；⑥模式评估；⑦知识表示。数据挖掘可以与用户或知识库交互。数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术。在客户关系管理（CRM）中，数据挖掘的应用是非常广泛的。CRM中的客户分类，客户赢利率分析，客户识别与客户保留等功能都要借助数据挖掘来实现。
2.2数据挖掘在CRM中的应用
比较典型的数据挖掘方法有关联分析、序列模式分析、分类分析、聚类分析等。它们可以在以客户为中心的企业决策分析和管理的各个不同领域与阶段得到应用。
2.2.1 关联分析
关联分析，即利用关联规则进行数据挖掘。关联分析的目的是挖掘隐藏在数据间的相互关系，它能发现数据库中形如“90％的顾客在一次购买活动中购买商品A的同时购买商品B”之类的知识。
2.2.2 序列模式分析
序列模式分析和关联分析相似，但侧重点在于分析数据间的前后序列关系。它能发现数据库中形如“在某一段时间内，顾客购买商品A，接着购买商品B，而后购买商品C，即序列A→B→C出现的频度较高”之类的知识。序列模式分析描述的问题是：在给定交易序列数据库中，每个序列是按照交易时间排列的一组交易集， 挖掘序列函数作用在这个交易序列数据库上，返回该数据库中出现的高频序列。在进行序列模式分析时，同样也需要由用户输入最小置信度C和最小支持度S。
2.2.3 分类分析
设有一个数据库和一组具有不同特征的类别（标记），该数据库中的每一个记录都赋予一个类别的标记，这样的数据库称为示例数据库或训练集。分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用这个分类规则对其它数据库中的记录进行分类。
2.2.4 聚类分析
聚类分析输入的是一组未分类记录，并且这些记录应分成几类事先也不知道，通过分析数据库中的记录数据，根据一定的分类规则，合理地划分记录集合，确定每个记录所在类别。它所采用的分类规则是由聚类分析工具决定的。采用不同的聚类方法，对于相同的记录集合可能有不同的划分结果。
3 结束语
应用数据挖掘技术，较为理想的起点就是从一个数据仓库开始。这个数据仓库，里面应保存着所有客户的合同信息，并且还应该有相应的市场竞争对手的相关数据。数据挖掘可以直接跟踪数据，辅助用户快速作出商业决策。用户还可以在更新数据的时候不断发现更好的行为模式，并将其运用于未来的决策当中。