A. 浅析预测分析注定失败的思考方式
浅析预测分析注定失败的思考方式
虽说预测分析是一项很得人心的技术,每个人都希望能通过使用预测分析方法和预测分析工具,从而可提前看到未知的结果,来避免失败,但如果没有做好准备,信手拈来的使用预测分析方法,那必将失败。无论对于预测分析是你新手菜鸟,还是已经进行了大量的预测分析项目,都非常容易犯错。
数据挖掘公司Elder Research的CEO John Elder说:“大量的分析项目中都充斥着各种各样的错误。”这些错误大都不是致命的,通过模型即改善,但是也一些项目是相当地失败,致使业务在软件在投资的大量的金钱和时间,但却没有任何收益。本文列出了预测分析注定失败的思考方式。
1.开始后没有假定结果
对于预测分析大家都很兴奋,你看到了它的潜在价值。但却有一个问题:你的心中没有一个特定的目标。
Elder Research参与的一个大公司中就有这样的情况。该公司开始使用他们的数据进行预测一些事情,或所有的事情,即一个方管可以出去向他的业务单元销售。虽然研究机构同意与他合作,并为他量身定制了一个使用模型,但由于这个业务单元中没有一个人问题他将要销售什么,最后该项目就没有了方向。
教训:不要先做锤子,再找钉子。在开始之前,一定要有一个特定的目标。
2.在数据不支持的基础上定义项目
一个债务催收公司希望找出最有效的方法来促使欠债人员还债。挑战是:该公司已经有一套严格的规则了,而且在每一个案例中都遵循这套原则。
数据挖掘是一项对比的艺术。因为该公司有了一套成熟的原则并一直遵循着,所以他们并不知道哪一种结果更有利于回收债务。所以该公司需要一些历史性的例子。
如果你没有这些案例,那么就需要创建一系列的实验来收集数据了。例如,假设有欠债人有1,000人,500人收到的了恐吓信,而另外500人得到的是电话催债,这是第一步。然后,预测模型就可以进行预测,预测哪类欠债人会更好的对恐吓信进行反应,哪类会更好的对电话进行反应。
在些案例中,欠债人类型可能包括历史模式引发的债务、按天支付过去的债务、收入、邮政编码的住宅等等。基于预测模型,这一催债机构可能会更好的使用更有经济效益的策略,而不是对所有人使用同一策略。但你要从实验开始。无中生有,对于预测分析来说是不可能的。
3.在得到最好数据之前就不前行
人们常常误解下操作:他们必须使数据完美地组织,没有任何漏洞、障碍或缺失的价值,在这之后才会进行预测分析。
Elder Research的一个客户,一个跨国石化公司刚刚开始进行预测分析项目,期望有更大的投资回报率,但这时他们的数据科学家发现现有的运营数据比他们原本想象的还要糟糕。
在此案例中缺失了一个最关键的目标价值。在使业务等待收集新数据时,该项目可能会延迟至少一年的时间。大部分公司在这里停滞不前。与其它错误相比这一错误是项目的最在杀手。
4.评估数据质量时,不清除垃圾数据
一个财富1000的金融服务公司想预测哪个客服中心的员工将会工作的时间最长。乍一看,该公司的历史数据似乎表明没有高中文凭、在公司停留至少9个月的员工数据是其它教育背景的员工有2.6倍。咨询公司建议客户从优先招聘高中辍学生开始。
但这就出现了两个问题。首先从求职者的简历中手动键入的数据已经做了不一致的标记。一条数据检查所有教育层次的人们,另一个只检查完成了高水平教育的人。
另一个更加复杂的问题是:因为某些原因,在呆的时间最长的人的简单中所有的标记中,后者比前者多。通过确保所做的标记是随机键入的一组简历,而且每一个人都使用同一种标记法,就可以以免这些问题。
在这一案例中我们得到一个最的信息就是:“只有垃圾在,才会有垃圾清理。在确保数据质量之间一定要确保数据的完整性。”
5.从未来的数据中预测未来
伴随着数据仓库的一个问题是它们并不静止的:信息一直在变,一直在更新。但预测分析是一种归纳的学习过程,它依赖于对历史数据,或“训练数据”的分析来创建模型。所以你要重新数据在客户生命周期初始阶段的状态。如果数据没有标注日期和时间戳,这很容易就会引进产生错误结果导向的未来数据。
有一件发生在汽车俱乐部的事:该俱乐部着手建立一个模型,用于预测他们的哪类会员更有可能购买他们的保险产品。为了建模,该俱乐部需要重建他们之前数据集合,把会员购买和决定购买保险产品的时间优先级提前,而且还要包含进子数据。该组织建立了一个决策树,它包括一个含有电话、传真和邮件数据的文本变量。当这一变量中包含了任何文本,那么就可以百分之百确定这些会员不久后就购买这一保险。
该项目的一个负责人说我们确信这个指示器将会在会员购买保险之前进行提示,但汽车俱乐部的员工却不能告诉我们它意味着什么。提前知道简直令人难以置信,他继续提问直到找到组织中知道事实的人:该变量代表着会员是如何取消他们保险的——通过电话、传真或者邮件。他说你不买就没有取消一说 。所以当你进行建模时,你必须锁定一些你的数据。
总结:失败只是一个选择
看了这些事例,你可能会把预测分析想象的非常困难,但不要害怕。虽然你在预测分析的路上出现了很多错误,但同时你也在学习,在调整,这是值得的。
B. 马尔科夫预测法在实际工作中可能遇到的问题及其解决方法
一、马尔科夫转移矩阵法的涵义
单个生产厂家的产品在同类商品总额中所占的比率,称为该厂产品的市场占有率。在激烈的竞争中,市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化。企业在对产品种类与经营方向做出决策时,需要预测各种商品之间不断转移的市场占有
率。
市场占有率的预测可采用马尔科夫转移矩阵法,也就是运用转移概率矩阵对市场占有率进行市场趋势分析的方法。马尔科夫是俄国数学家,他在20世纪初发现:一个系统的某些因素在转移中,第n次结果只受第n-1的结果影响,只与当前所处状态有关,与其他无关。比如:研究一个商店的累计销售额,如果现在时刻的累计销售额已知,则未来某一时刻的累计销售额与现在时刻以前的任一时刻的累计:销售额都无关。 ,
在马尔科夫分析中,引入状态转移这个概念。所谓状态是指客观事物可能出现或存在的状态;状态转移是指客观事物由一种状态转穆到另一种状态的概率。
马尔科夫分析法的一般步骤为:
①调查目前的市场占有率情况;
②调查消费者购买产品时的变动情况;
③建立数学模型;
④预测未来市场的占有率。
二、马尔科夫分析模型
实际分析中,往往需要知道经过一段时间后,市场趋势分析对象可能处于的状态,这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型,并用于进行市场趋势分析的方法。
马尔科夫分析法的基本模型为:
X(k+1)=X(k)×P
公式中:X(k)表示趋势分析与预测对象在t=k时刻的状态向量,P表示一步转移概率矩阵,
X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。
必须指出的是,上述模型只适用于具有马尔科夫性的时间序列,并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化,不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率,故此法一般适用于短期的趋势分析与预测。
三、马尔科夫过程的稳定状态
在较长时间后,马尔科夫过程逐渐处于稳定状态,且与初始状态无关。马尔科夫链达到稳定状态的概率就是稳定状态概率,也称稳定
概率。市场趋势分析中,要设法求解得到市场趋势分析对象的稳态概率,并以此做市场趋势分析。
在马尔科夫分析法的基本模型中,当X:XP时,称X是P的稳定概率,即系统达到稳定状态时的概率向量,也称X是P的固有向量或特征向量,而且它具有唯一性。
四,马尔科夫转移矩阵法的应用
马尔科夫分析法,是研究随机事件变化趋势的一种方法。市场商品供应的变化也经常受到各种不确定因素的影响而带有随机性,若其具有"无后效性",则用马尔科夫分析法对其未来发展趋势进行市场趋势分析五,提高市场占有率的策略预测市场占有率是供决策参考的,企业要根据预测结果采取各种措施争取顾客。提高市场占有率一般可采取三种策略:
(1)设法保持原有顾客;
(2)尽量争取其他顾客;
(3)既要保持原有顾客又要争取新的顾客。
第三种策略是前两种策略的综合运用,其效果比单独使用一种策略要好,但其所需费用较高。如果接近于平稳状态时,一般不必花费竞争费用。所以既要注意市场平稳状态的分析,又要注意市场占有率的长期趋势的分析。
争取顾客、提高市场占有率的策略和措施一般有:
①扩大宣传。主要采取广告方式,通过大众媒体向公众宣传商品特征和顾客所能得到的利益,激起消费者的注意和兴趣。
②扩大销售。除联系现有顾客外,积极地寻找潜在顾客,开拓市场。如向顾客提供必要的服务等。
③改进包装。便于顾客携带,增加商品种类、规格、花色,便于顾客挑选,激发顾客购买兴趣。
④开展促销活动。如展销、分期付款等。
⑤调整经营策略。根据市场变化,针对现有情况调整销售策略,如批量优待、调整价格、市场渗透、提高产品性能、扩大产品用途、降低产品成本等,以保持市场占有率和扩大市场占有率。
马尔科夫分析模型
实际分析中,往往需要知道经过一段时间后,市场趋势分析对象可能处于的状态,这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型,并用于进行市场趋势分析的方法。
马尔科夫分析法的基本模型为:
X(k+1)=X(k)×P
公式中:X(k)表示趋势分析与预测对象在t=k时刻的状态向量,P表示一步转移矩阵概率,
X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。
必须指出的是,上述模型只适用于具有马尔科夫性的时间序列,并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化,不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率,故此法一般适用于短期的趋势分析与预测。
请参考,希望对你有所帮助!