1、聚类分析
聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程,所以同一个簇中的对象有很大的相似性,而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分类。聚类分析所使用方法的不同,常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析,所得到的聚类数未必一致。
2、因子分析
因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系,减少决策的困难。因子分析的方法约有10多种,如重心法、影像分析法,最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法,是以相关系数矩阵为基础的,所不同的是相关系数矩阵对角线上的值,采用不同的共同性□2估值。在社会学研究中,因子分析常采用以主成分分析为基础的反复法。
3、相关分析
相关分析(correlation analysis),相关分析是研究现象之间是否存在某种依存关系,并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系,例如,以X和Y分别记一个人的身高和体重,或分别记每公顷施肥量与每公顷小麦产量,则X与Y显然有关系,而又没有确切到可由其中的一个去精确地决定另一个的程度,这就是相关关系。
4、对应分析
对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析,通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异,以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
5、回归分析
研究一个随机变量Y对另一个(X)或一组(X1,X2,„,Xk)变量的相依关系的统计分析方法。回归分析(regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛,回归分析按照涉及的自变量的多少,可分为一元回归分析和多元回归分析;按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。
⑵ 数据分析常用的分析方法有哪些
1. 描述型分析
这是最常见的分析方法。在业务中,这种方法向数据分析师提供了重要指标和业务的衡量方法。
例如,每月的营收和损失账单。数据分析师可以通过这些账单,获取大量的客户数据。了解客户的地理信息,就是“描述型分析”方法之一。利用可视化工具,能够有效的增强描述型分析所提供的信息。
2. 诊断型分析
描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据,诊断分析工具能够让数据分析师深入地分析数据,钻取到数据的核心。
良好设计的BI dashboard能够整合:按照时间序列进行数据读入、特征过滤和钻取数据等功能,以便更好的分析数据。
3. 预测型分析
预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值,或者是预估事情发生的时间点,这些都可以通过预测模型来完成。
预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。在充满不确定性的环境下,预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。
4. 指令型分析
数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析,来帮助用户决定应该采取什么措施。通常情况下,指令型分析不是单独使用的方法,而是前面的所有方法都完成之后,最后需要完成的分析方法。
⑶ 数据的分析涉及到的思想方法
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。
数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
在统计学领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。
探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充。该方法由美国着名统计学家约翰·图基(John Tukey)命名。
定性数据分析又称为“定性资料分析”、“定性研究”或者“质性研究资料分析”,是指对诸如词语、照片、观察结果之类的非数值型数据(或者说资料)的分析。
具体方法
数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步:
1、探索性数据分析:当数据刚取得时,可能杂乱无章,看不出规律,通过作图、造表、用各种形式的方程拟合,计算某些特征量等手段探索规律性的可能形式,即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。
2、模型选定分析,在探索性分析的基础上提出一类或几类可能的模型,然后通过进一步的分析从中挑选一定的模型。
3、推断分析:通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。
分析方法
1、列表法
将实验数据按一定规律用列表方式表达出来是记录和处理实验数据最常用的方法。表格的设计要求对应关系清楚、简单明了、有利于发现相关量之间的物理关系;此外还要求在标题栏中注明物理量名称、符号、数量级和单位等;根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。最后还要求写明表格名称、主要测量仪器的型号、量程和准确度等级、有关环境条件参数如温度、湿度等。
2、作图法
作图法可以最醒目地表达物理量间的变化关系。从图线上还可以简便求出实验需要的某些结果(如直线的斜率和截距值等),读出没有进行观测的对应点(内插法)或在一定条件下从图线的延伸部分读到测量范围以外的对应点(外推法)。此外,还可以把某些复杂的函数关系,通过一定的变换用直线图表示出来。例如半导体热敏电阻的电阻与温度关系为,取对数后得到,若用半对数坐标纸,以lgR为纵轴,以1/T为横轴画图,则为一条直线。
3、数据分析主要包含:
1. 简单数学运算(Simple Math)
2. 统计(Statistics)
3. 快速傅里叶变换(FFT)
4. 平滑和滤波(Smoothing and Filtering)
5.基线和峰值分析(Baseline and Peak Analysis)
数据来源
1、搜索引擎蜘蛛抓取数据;
2、网站IP、PV等基本数据;
3、网站的HTTP响应时间数据;
4、网站流量来源数据。
数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。
识别需求
识别信息需求是确保数据分析过程有效性的首要条件,可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求,提出对信息的需求。就过程控制而言,管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。
收集数据
有目的的收集数据,是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑:
①将识别的需求转化为具体的要求,如评价供方时,需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据;
②明确由谁在何时何处,通过何种渠道和方法收集数据;
③记录表应便于使用; ④采取有效措施,防止数据丢失和虚假数据对系统的干扰。
分析数据
分析数据是将收集的数据通过加工、整理和分析、使其转化为信息,通常用方法有:
老七种工具,即排列图、因果图、分层法、调查表、散步图、直方图、控制图;
新七种工具,即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图;
过程改进
数据分析是质量管理体系的基础。组织的管理者应在适当时,通过对以下问题的分析,评估其有效性:
①提供决策的信息是否充分、可信,是否存在因信息不足、失准、滞后而导致决策失误的问题;
②信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致,是否在产品实现过程中有效运用数据分析;
③收集数据的目的是否明确,收集的数据是否真实和充分,信息渠道是否畅通;
④数据分析方法是否合理,是否将风险控制在可接受的范围;
⑤数据分析所需资源是否得到保障。
⑷ 数据分析的分析方法都有哪些
很多数据分析是在分析数据的时候都会使用一些数据分析的方法,但是很多人不知道数据分析的分析方法有什么?对于数据分析师来说,懂得更多的数据分析方法是很有必要的,而且数据分析师工作工程中会根据变量的不同采用不同的数据分析方法,一般常用的数据分析方法包括聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析等,我们要学会使用这些数据分析之前一定要懂得这些方法的定义是什么。
第一先说因子分析方法,所谓因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系,减少决策的困难。因子分析的方法约有10多种,如影像分析法,重心法、最大似然法、最小平方法、α抽因法、拉奥典型抽因法等等。
第二说一下回归分析方法。回归分析方法就是指研究一个随机变量Y对另一个(X)或一组变量的相依关系的统计分析方法。回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。回归分析方法运用十分广泛,回归分析按照涉及的自变量的多少,可分为一元回归分析和多元回归分析;按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。
接着说相关分析方法,相关分析是研究现象之间是否存在某种依存关系,并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系。
然后说聚类分析方法。聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程,所以同一个簇中的对象有很大的相似性,而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析,在分类的过程中,不需要事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分类。
接着说方差分析方法。方差数据方法就是用于两个及两个以上样本均数差别的显着性检验。由于各种因素的影响,研究所得的数据呈现波动状。方差分析是从观测变量的方差入手,研究诸多控制变量中哪些变量是对观测变量有显着影响的变量。
最后说一下对应分析方法。对应分析是通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异,以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
通过上述的内容,我们发现数据分析的方法是有很多的,除了文中提到的聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析等分析方法以外,还有很多的数分析方法,而上面提到的数据分析方法都是比较经典的,大家一定要多多了解一下此类相关信息的发生,希望这篇文章能够给大家带来帮助。
⑸ 常用的数据分析方法有哪些
常见的数据分析方法有哪些?
1.趋势分析
当有大量数据时,我们希望更快,更方便地从数据中查找数据信息,这时我们需要使用图形功能。所谓的图形功能就是用EXCEl或其他绘图工具来绘制图形。
趋势分析通常用于长期跟踪核心指标,例如点击率,GMV和活跃用户数。通常,只制作一个简单的数据趋势图,但并不是分析数据趋势图。它必须像上面一样。数据具有那些趋势变化,无论是周期性的,是否存在拐点以及分析背后的原因,还是内部的或外部的。趋势分析的最佳输出是比率,有环比,同比和固定基数比。例如,2017年4月的GDP比3月增加了多少,这是环比关系,该环比关系反映了近期趋势的变化,但具有季节性影响。为了消除季节性因素的影响,引入了同比数据,例如:2017年4月的GDP与2016年4月相比增长了多少,这是同比数据。更好地理解固定基准比率,即固定某个基准点,例如,以2017年1月的数据为基准点,固定基准比率是2017年5月数据与该数据2017年1月之间的比较。
2.对比分析
水平对比度:水平对比度是与自己进行比较。最常见的数据指标是需要与目标值进行比较,以了解我们是否已完成目标;与上个月相比,要了解我们环比的增长情况。
纵向对比:简单来说,就是与其他对比。我们必须与竞争对手进行比较以了解我们在市场上的份额和地位。
许多人可能会说比较分析听起来很简单。让我举一个例子。有一个电子商务公司的登录页面。昨天的PV是5000。您如何看待此类数据?您不会有任何感觉。如果此签到页面的平均PV为10,000,则意味着昨天有一个主要问题。如果签到页面的平均PV为2000,则昨天有一个跳跃。数据只能通过比较才有意义。
3.象限分析
根据不同的数据,每个比较对象分为4个象限。如果将IQ和EQ划分,则可以将其划分为两个维度和四个象限,每个人都有自己的象限。一般来说,智商保证一个人的下限,情商提高一个人的上限。
说一个象限分析方法的例子,在实际工作中使用过:通常,p2p产品的注册用户由第三方渠道主导。如果您可以根据流量来源的质量和数量划分四个象限,然后选择一个固定的时间点,比较每个渠道的流量成本效果,则该质量可以用作保留的总金额的维度为标准。对于高质量和高数量的通道,继续增加引入高质量和低数量的通道,低质量和低数量的通过,低质量和高数量的尝试策略和要求,例如象限分析可以让我们比较和分析时间以获得非常直观和快速的结果。
4.交叉分析
比较分析包括水平和垂直比较。如果要同时比较水平和垂直方向,则可以使用交叉分析方法。交叉分析方法是从多个维度交叉显示数据,并从多个角度执行组合分析。
分析应用程序数据时,通常分为iOS和Android。
交叉分析的主要功能是从多个维度细分数据并找到最相关的维度,以探究数据更改的原因。
⑹ 数据分析师常用的数据分析思路
01 细分分析
细分分析是数据分析的基础,单一维度下的指标数据信息价值很低。
细分分析法可以大致分为两类,一类是逐步分析,如:来北京市的访客可分为朝阳和海淀等区;另一类是维度交叉,如:来自付费SEM的新访客。
02 对比分析
对比分析主要是把两个有关联的数据指标进行相互比较,从数量上说明和展现研究对象的规模大小,水平的高低,速度快慢等方面的相对值,然后通过在一样的维度下的指标数据对比,可以发现,找出业务在不同阶段的问题。
03 漏斗分析
转化漏斗分析是数据分析师进行业务分析的基本模型,我们最经常见的就是把最终的转化设置为某种目的的实现,最典型的就是完成交易。但也可以是其他任何目的的实现,比如一次使用app的时间超过10分钟。
04 同期群分析
同期群(cohort)分析在数据分析运营领域相当重要,尤其是互联网运营,特别需要仔细观察留存的情况。通过对性质完全一样的可对比群体的留存情况的比较,来分析哪些因素影响用户的留存。
05 聚类分析
聚类分析具有简单,直观的特征,网站分析中的聚类主要分为:用户,页面或内容,来源。
用户聚类主要体现为用户分群,用户标签法;页面聚类则主要是相似,相关页面分组法;来源聚类主要包括渠道,关键词等。
06 AB测试
增长黑客的一个主要思想之一,是千万不要做一个大又全的东西,相反是需要不断做出能够快速验证的小而精的东西。快速验证,那如何验证呢?主要方法就是AB测试。
07 埋点分析
只有采集了足够的基础数据,才能通过各种分析方法得到需要的分析结果。
通过分析用户行为,并细分为:浏览行为,轻度交互,重度交互,交易行为,对于浏览行为和轻度交互行为的点击按钮等事件,因其使用频繁,数据简单,采用无埋点技术实现自助埋点,即可以提高数据分析的实效性,需要的数据可立即提取,又大量减少技术人员的工作量,需要采集更丰富信息的行为。
08 来源分析
流量红利消失,我们对获客来源的重视度极高,如何有效的标注用户来源,至关重要。
传统分析工具,渠道分析仅有单一维度,要深入分析不同渠道不同阶段效果,SEM付费搜索等来源渠道和用户所在地区进行交叉分析,得出不同区域的获客详细信息,维度越细,分析结果也越有价值。
09 用户分析
众所周知,用户分析是互联网运营的核心环节,通常用到的分析方法有:活跃分析,留存分析,用户分群,用户画像,用户细查等。可将用户活跃细分为浏览活跃,互动活跃,交易活跃等,通过活跃行为的细分,掌握关键行为指标。
10 表单分析
表单分析中的填写表单,这个环节是每个平台与用户交互的必有环节,一份完美的表单设计,对客户转化率的提升有至关重要的作用。
用户进入表单页面,这时候就已经产生了微漏斗,从进入的总共的人数到最后完成,并且成功提交表单人数,这个过程之中,有多少人开始填写表单,填写表单时,遇到了什么困难导致无法完成表单,都影响最终的转化效果。
有关数据分析师常用的数据分析思路的内容,青藤小编就和您分享到这里了。如果您对互联网大数据有着浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于大数据、数据分析师的技巧及素材等内容,可以点击本站的其他文章进行学习。
⑺ 大数据分析方法有哪些
1、因子分析方法
所谓因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系,减少决策的困难。因子分析的方法约有10多种,如影像分析法,重心法、最大似然法、最小平方法、α抽因法、拉奥典型抽因法等等。
2、回归分析方法
回归分析方法就是指研究一个随机变量Y对另一个(X)或一组变量的相依关系的统计分析方法。回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。回归分析方法运用十分广泛,回归分析按照涉及的自变量的多少,可分为一元回归分析和多元回归分析;按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。
3、相关分析方法
相关分析是研究现象之间是否存在某种依存关系,并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系。
4、聚类分析方法
聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程,所以同一个簇中的对象有很大的相似性,而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析,在分类的过程中,不需要事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分类。
5、方差分析方法
方差数据方法就是用于两个及两个以上样本均数差别的显着性检验。由于各种因素的影响,研究所得的数据呈现波动状。方差分析是从观测变量的方差入手,研究诸多控制变量中哪些变量是对观测变量有显着影响的变量。
6、对应分析方法
对应分析是通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异,以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
⑻ 用数据说话:数据分析的基本思想是什么
用数据说话:数据分析的基本思想是什么
今天分享一下数据分析的一些基本思想,我给它起了个名字叫做用数据说话。内容都是个人的一些心得,比较肤浅!如有不足之处,希望大家谅解!废话不说了,现在咱正式开始。
用数据说话,就是用真实的数据说真实的话!真实也可以理解为求真务实。那么,数据分析就是不断地求真,进而持续地务实的过程!用一句话表达就是用数据说话,用真实的数据说话,说真话、说实话、说管用的话。
1.用数据说话
数据本不会说话,但是面对不同的人时,就会发出不同的声音。现在我们以《荒岛售鞋》这个老故事为引例,从数据分析的角度来解读,看看能不能开出新花?为防止大家案例疲劳,我尽量用新的表达方式把故事罗嗦一下!
话说郭靖和杨康,被成吉思汗派去美丽的桃花岛进行射雕牌运动鞋的市场拓展。郭靖和杨康一上桃花岛就惊讶地发现这里的居民全部赤脚,没有一个穿鞋的,不论男女还是老少,莫不如此。杨康一看,倒吸了一口凉气,说:唉!完了,没啥市场!郭靖却不这么认为,马上掏出了新买的IPHONE4G给铁木真打了个长途加漫游的汇报电话。面对桃花岛这个空白的市场,郭靖电话里这么说:“桃花岛人口众多,但信息闭塞。现在全岛居民,全部赤脚。在运动鞋市场上没有任何竞争对手,茫茫蓝海,市场将为我独霸!可喜,可喜啊!”这个时候,咱现场做个调查,假如你是成吉思汗,你会怎么抉择?(投资Y1人,不投资的N1人。)
这个时候杨康听不下去了,马上抢过电话,说到“大汗,别听郭靖瞎嚷嚷!市场虽然没有竞争,但并不就一定是蓝海。在全球化竞争的大背景下,这么轻而易举的就让我们找到了蓝海,您觉得可能吗?难道阿迪、耐克、彪马、锐步这些国际巨头都是棒槌,会发现不了?我看肯定是岛上几百年不穿鞋的生活习惯,短期内无法改变,所以各路群雄,都只能望而止步!可惜,可惜啊!”听了杨康的论述,铁木真又该如何选择呢?请大家举手表态。(愿意投资Y2人,不愿意投资的N2人。)姜是老的辣!成吉思汗比较理性,他只说了一句:“继续调研,要用数据说话!”就把电话挂了!
一个星期之后,杨康率先给BOSS汇报了。不过他没有选择打电话,而是改发E—MAIL。原因有三:一是全球通资费太高了,钱要省着点花;二是杨康有点小人,他担心郭靖听了他的表述后,剽窃他的思想;三是他写了一份详细的调研报告,电话里三言两语说不清。杨康的调查报告里详细地记录了他与岛内精心选取的200位居民的谈话内容,以及他抽取居民样本时科学合理的甄别条件,最后的结论就是:岛内居民全部(100%)以捕鱼为生,脚一年四季泡在水里,根本就不需要鞋!听到这个消息,成吉思汗怎么办呢?请大家继续举手表态!(愿意投资Y3人,不愿意投资的N3人。)
成吉思汗有自己的想法。这个时候,他没有做决策,而是继续等。等什么呢?等郭靖的结论!又过了两天郭靖终于打来了电话。电话里说了3句话:“这个市场可以做!原因是岛上的居民每周都要上山砍柴,并且十有八九会被划破脚!更可喜的是,这两天他用美男计泡到了岛主的女儿黄蓉,而且黄蓉答应给射雕牌运动鞋作形象代言!”故事发生到这个阶段,我请大家做最后一次表态。(愿意投资Y4人,不愿意投资的N4人。)
好!数据在变,我们的决策也在变。不过,成吉思汗比我们理性的多。回答还是一句话,不过比第一次多了几个字:“继续深入调研,用详实数据论证。”为什么呢?难道这些数据还不够详实吗?是的!因为在成吉思汗脑袋里还存在有很多疑问。比如:
1) 难道竞争对手真的没来过?还是对方论证后真的不可行?
2) 山上不会开个伐木厂吧?如果有了伐木厂,居民就不会上山砍柴了,到时候送柴上门,鞋还有个屁用啊!
3) 为什么一周才上一次山?该不会主要使用的是太阳能吧?
4) 运动鞋的运输成本、营销成本、销售成本是多少?投资收益率有多高?
5) ……
听完这个案例,我想问大家一个问题!从数据分析的角度看,你受到了什么启示?请注意这里说的数据分析的角度,如果你得到的启示是:铁木真领导的郭靖与杨康不是1个老男人+2个帅小伙的Gourp,而是教练型的Team。那么,抱歉!这不是我们今天讨论的范围。好,在座的各位谁来表达一下自己的看法呢?提示性的启示有:
面对同一个数据,不同的人会说不同的话。
真实的数据并不一定能推导出正确的结论。
正确的决策需要有充分的数据去论证。
……
说完了启示,咱把这页PPT总结一下。这个案例涉及数据的搜集、分析、汇报以及用于决策的整个过程。在这个过程里,无论那个细节出了问题,最终做出的决策都将是致命的!所以说质量是数据的生命,在数据用于决策的整个过程,都必须保证真实有效!
2.用真实的数据说话
所谓用真实的数据说话,就是指在说话之前,先审核数据的真实性!现实生活中,拿着错误的数据还能大言不惭的可以说比比皆是。其中有两位杰出的代表:一个是传说中伟大的中国统计局,另一个就是动不动就要封杀这个封杀那个的CCTV。我不是瞎说,因为有数据支撑!
2010年1月20日,国家统计局公布了2009年全国房地产市场数据,全年房价平均每平方米上涨813元。够雷人吧!雷声还没过,霹雳紧跟着又来了!2月25日国家统计局发布了《2009年国民经济和社会发展统计公报》,数据显示,70个大中城市房屋销售价格上涨1.5%。真可是天雷滚滚!难怪网友把统计局票选成大天朝的娱乐至尊!
此话一出,央视不答应了!真所谓中国统计,娱乐至尊;央视不出,谁与争锋?那我们仔细推敲一下央视的数据。2010年2月15日,CCTV发布了虎年春晚的满意度报告,结果显示满意度为83.6%。几乎同一天,新浪的公布的调查结果是14.55%;后来没几天,腾讯也发布了满意度数据,结果是10.48%。数据一出,网友们骂声不断,此起彼伏,一浪高过一浪。但是人家央视就是央视,大有敌军围困万千重,我自岿然不动的定力。更夸张的是央视不但能装作视而不见,充耳不闻,而且还继续恬不知耻地在自己家的那几个频道里卖弄数据,自娱自乐。到底央视的数据错在哪里?我们先审视一下央视的调查方法。
央视的调查结果,来自央视——索福瑞媒介研究有限公司。索福瑞号称他们电视观众满意度调查的样本覆盖了全国30个城市,抽样框总人数有30,000人,央视春晚满意度的调查就是从这3万人中随机抽取了2122人进行调查。这样看,严格意义上讲所谓83.6%的满意度只能代表3万人的看法。当然,如果我拿这个说法与央视理论,对方肯定能拿出3万代表全国的理论证据。具体就是先从2千推断3万,再用3万推及到30个城市,然后从30个城市推及至全国所有城市,最后再推及至全国。这里用到了简单随机抽样、分层抽样、典型抽样,总起来还是个多阶段抽样,多么冠冕堂皇的理论依据!但是,纵然每一步都能保证90%的可靠程度,四次推及下来理论的可靠程度也只有65%。可遗憾的是,最后一步用城市推及全国的做法在理论上还有一道坎,因为我们不知道如何用45%的城镇居民来代表55%的农村人口?
说完了代表性的问题,我们再看看调查方法。索福瑞采用的是电话调查,而且时段选择在春晚直播的那几个小时内。据说调查是从晚上8:30开始,一直持续到春晚结束。巨汗!8:30貌似90%的节目还没有上演,又怎么能调查到观众对整个春晚的满意度呢?
央视的数据是经不住推敲的!那么,新浪和腾讯的一定对吗?不一定,这两个数据也只能代表新浪用户和腾讯用户的春晚满意度,最多能够代表一下4亿网友,要想替13亿的中国人民表达心声,也恐怕是鞭长莫及。
欣赏了统计局和CCTV送给我们的两个开年笑话之后,我们自己也应该反思,咱们日常工作中,在从数据的搜集、提取、整理到分析、发布、使用的这一连串过程中,数据有没有失真?是不是数据自始自终都很齐全、很准确,而且统计口径与分析目的保持着高度的一致呢?这个问题留到日常工作中供大家思考。
3.说真话说实话
拿着错误的数据,肯定得不出正确的结论。那么面对真实的数据,就一定能得出正确的结论吗?未必!给大家看个小笑话。
问:你只有10平米的蜗居,邻居家从90m2换到190m2,你的居住面积有没有增加?
答:没有。
解:错,你们两家的平均居住面积是100m2,你的居住面积被神不知鬼不觉地增加了!
这个神不知鬼不觉是谁呢?无敌的平均数!仔细想想,这个均值算错了吗?没有!那么,问题出在哪里?单一的统计量存在片面性,所以要想反映数据的真实面貌,就得使用一系列统计量。
我再杜撰一个气候的例子,说明一下在结构严重失衡的情况下,使用平均数的可怕之处。我们的大中国啊,960万平方公里,同一时间里有的刮风,有的下雨,还有的高温酷暑。从去年冬天到今年的春天,北方一直暴雪连天,南方则遭遇百年旱情;而最近这段时间,南方多个省市河水决堤,沿河两岸,村庄沦陷,而北方则是烈日当头,干旱焦人,酷暑难耐。如果我们计算全年或者是全国降雨量的平均值,算出来的结果肯定是神州大地风调雨顺,国泰民安,而实际却是华夏民族饱经风霜,多灾多难!
还好,统计学家不只给了我们平均数,同时还设计了许多其他的统计量,大家看看下面这个表。
衡量数据的集中趋势,基本有三个统计量,均值、中位数和众数。均值是数值平均数,它容易受极端值的影响。也就是说如果数据的跨度或者说是极差不大的话,用均值可以很好的反映真实情况。但是,如果数据的差异比较大,单一使用平均数就会搞出新的笑话了。中位数和众数属于位置平均数,中位数是把数据从小到大排序,正好处于中间位置的那个数,众数是说出现的频次最多的那个数。
数据除了有集中趋势,还有离散趋势。反映离散趋势的统计量主要有方差、标准差、极差、变异系数等。方差就是观测值与均值差的平方和除以自由度,自由度一般是n或n-1。总体数据就用n,抽样数据就用n-1。标准差就是方差的正平方根,它的意义是消除了量纲的影响。极差是最大值与最小值的差,反映的是观测值的跨度范围。还有一个比较重要也是比较常用的就是变异系数,它是标准差与均值的比,目的是消除数量级的影响。
此外,还有一些是描述数据分布的统计量,比如分位数,有四分位、八分位、十分位等等,二分位就是中位数,它们反映一系列数据某几个关键位置的数值。频率分布,就是对数据分组或者是分类后,各组或各类的百分比。偏度是用于衡量分布的不对称程度或偏斜程度,峰度是用于衡量分布的集中程度或分布曲线的尖峭程度的指标。
如果想再深入一些的话,就会用到相关系数、置信水平、统计指数等等。相关系数是反映变量之间线性相关程度的指标,取值范围是【-1,1】,大于0为正相关,小于0为负相关,等于0表示不相关。置信水平是指总体参数值落在样本统计值某一区内的概率。统计指数就是将不能直接比较的一些指标通过同度量因素的作用使得能够比较,常见的物价指数、上证指数等等。
有了这些基本的统计量,我们在实际工作中只要稍微用心选择一下,就可以比较准确的描述数据的真实情况。
4.说管用的话
说管用的话是指深入分析数据的实质,挖掘数据的内涵,而不是停留在数据的表层,说些大话、空话或者套话。这就要求在数据分析时,首先明确分析的目的,其次是选择恰当的方法,最后得出有用的结论。通俗地说,说管用的话,就是不说屁话,少说废话!
4.1明确分析目的
这里我们举个例子。我想这个例子的时候正好是7月7号,N年前的那个时候,正好是在座的各位高考的日子,所以就杜撰了一个高考的数据。
我们这个班级,虽然成绩很烂,800分的总分,平均成绩只有486分,但是人才辈出,名字一个比一个响,人气一个比一个旺。大家先认识一下,有饱读四书五经,满腹经纶的关东秀才吕轻侯;有篮球场上进攻犀利,防守严密的小飞侠科比;还有足球场上无论是边路传中还是抢点射门都有非常出色的C罗纳尔多;有喜欢烟熏妆、蓝丝袜加高跟鞋出镜的伪娘刘着,有被亿万网友烧香膜拜的春哥党教主李宇春,还有经常抱着吉他哼着绵羊音的90后MM曾轶可;以及自称冰清玉洁、妖媚性感、擅长爆发性舞蹈动作的芙蓉姐姐和非清华北大经济学硕士不嫁、奥巴马也可的重庆籍奇女子罗玉凤!
基于学生的考试成绩,不同的人会关注不同的方面,高考的判卷老师会关心试卷的雷同程度,命题人会测试考卷的信度和效度,研究文理分科的专家会计算文理成绩的相关程度。但是对于普通中学,通常只会关心两个方面。一是学生成绩,计算升学率;二是教学水平,给优秀教师发奖金。如果高中的教学科在这里研究文理相关就属于废话,如果还要把问卷的信效检验也扯出来就是屁话了。
关于学生:
吕秀才:总分722分,班级第一,平均成绩超过90分,如果将其他同学的水平比作三层小楼的话,吕秀才应该是站在赛格顶上!奇才,上清华北大没有问题。
科比和C罗:总分550左右,平均不到70分!属于班级2号、3号人物,但成绩确实不咋地,不过在该班级中也算鹤立鸡群了。
刘着、李宇春、曾轶可:成绩较差,上学肯定不是她们的出路!基于平时性情怪异,男的像女,女的像男,还有一个像绵羊,建议别走高考这条寻常路,还是去湖南卫视选秀吧。
凤姐、芙蓉:这成绩,就是个脑残,估计脑袋不是被门挤过,就是被驴踢过!
关于老师:
衡量教师的优劣需要剔除异常值,吕秀才就是!吕秀才属于成绩异常出众,个人素质极高,所以他的成绩不应该成为衡量老师优劣的样本。
语文均值高,变异系数小!由此看出语文老师真是好老师!该发奖金!
同理,历史老师也不错!也应该适当奖励。至于物理老师,太差,得赶快换掉,绝对不能让他继续误人子弟了!
存在疑问的就是英语老师。英语成绩的均值较高,但变异系数大。这说明数据里可能存在极端值。可能的异常值是科比与C罗。科比美国人,外语自然好!C罗葡萄牙人,但从2003年到2009年一直在英国留学,6年啊,英语好也是应该的!所以,科比与C罗的英语成绩不能算是英语老师的栽培,所以科比和C罗是异常值,应该剔除。那么,剔除异常后就会发现英语的均值只有47分!说明英语老师并不能算做好老师,所以只能与奖金无缘了!
4.2选择恰当的方法
接上面的案例。如果我们是研究高中该不该进行文理分科的有关部门,那么我们该如何分析文理成绩之间的相关性?
举例1:如何计算文理科之间的相关性。
目前基本有三种方法,一是简单相关分析,二是典型相关分析,三是潜变量相关分析。
简单相关分析就是通过加总,分别计算出文科成绩总和、理科成绩总和,然后计算两者的简单相关系数。
典型相关分析主要用于衡量两组变量之间的相关性。它的基本原理是:为了从总体上把握两组指标之间的相关关系,分别在两组变量中提取是的相关系数最大的一系列典型变量,然后通过计算各对典型变量之间的相关性,来反映变量间的相关程度。
潜变量相关就是计算潜变量之间的相关系数。所谓潜变量是相对于显变量或者测量变量而言的。潜变量是实际工作中无法直接测量到的变量,包括比较抽象的概念和由于种种原因不能准确测量的变量。一个潜变量往往可以有多个显变量,潜变量是可以看做是其对应显变量的抽象和概括,显变量则可视为特定潜变量的测量指标。在文理科相关性的分析中,我们可以将文科、理科看成潜变量,将语文、外语、政治、历史这四个显变量看成文科的测量指标,将数学、物理、化学、生物这四个显变量看成是理科的测量指标,那么求文理成绩之间的相关问题就转化成潜变量之间相关的问题。
那么。我们究竟该选用哪种方法呢?或者假如说我们同时使用了上面三种方法,求出相关系数,该选择哪一个呢?比如我们计算的结果分别是0.35(简单相关)、0.85(最大典型变量)、-0.65(潜变量相关),这个时候我们到底该相信哪个数据呢?
其实,我更愿意相信简单相关计算的结果。原因如下:
1、简单相关,既简单又易理解。
2、典型相关的取值范围是【0,1】,它计算出的结果没有正负,只有大小。与我们实际研究目的有悖。我们想知道学生是否在文理课程上均衡发展,所谓均衡就是正相关,所谓不均衡就是负相关。而典型相关做不到。
3、潜变量相关虽然取值范围是【-1.1】,但是它多数是采用主成分的方法拟合潜变量,而依据方差提取最大主成分的过程与我们的分析貌似不甚吻合。
4、最重要的是,其实简单加总与典型相关、主成分相关拥有同一个思想,就是先把多个变量拟合成一个变量(或几个),然后分析这个拟合出来的变量之间的相关性。其实,在量纲、数量级相同的情况下,而且权重也容易计算的情况下,最简单有效的拟合就是加总!所以我认为简单加总后计算出的相关系数是最有效。而潜变量、典型变量是在量纲或数量级不等的情况下,衡量多个变量之间相关关系的有效方法。
举例2:计算硬币正反概率
最后,再给大家做道选择题。
问题:如果一枚硬币连抛10次都是正面,问第11次出现正面的概率是多少?
选项:A. 接近0% B.50% C.接近100% D. 以上答案都不对
一个硬币连抛10次都出现正面的概率是0.510,绝对的小概率事件。在一次实验中,小概率事件发生,那么我们就应该拒绝原假设。原假设是什么?硬币出现正反的概率是0.5。所以,我们可以大胆地推断,硬币本身就是一个两面都是正面的硬币,所以说第11次出现正面的概率是100%,或者接近100%。大家是不是有异议呢?
树上10只鸟,猎枪一枪打死1只,树上还剩0只的结论大家都应该同意吧。因为我们考虑的是实际问题,不是10-1=?的数学算式。所以大家在幼儿园的时候就知道枪声响过,树上一只鸟都不会剩。试想,你和你的朋友打赌投硬币猜正反,如果10次之后朋友投出来的都是正面,你会怎么想?兄弟你出千了吧,硬币肯定有问题吧!相信用不了10次,你就会提出这样的质疑了。如果说计算概率,0.5没有错,独立事件发生的概率不因之前的情况而改变。但是,如果用假设检验的思想,100%的结论就更合理了。之所以说0.5的结果不对,不是说你的计算出错了,而是在解决实际问题的时候,你太教条了,太书本了,从而选错方法了。
5.最后总结
我的分享结束了,大家也听了也笑了,但是笑过之后务必记住我啰嗦了一个小时的这句话:用数据说话就是用真实的数据说话,说真话、说实话、说管用的话!最后说一句废话:希望刚刚过去的1个小时没有浪费大家的时间。
⑼ 数据分析有什么思路
1、明确思路
明确数据分析的目的以及思路是确保数据分析过程有效进行的首要条件。它作用的是可以为数据的收集、处理及分析提供清晰的指引方向。可以说思路是整个分析流程的起点。首先目的不明确则会导致方向性的错误。当明确目的后,就要建分析框架,把分析目的分解成若干个不同的分析要点,即如何具体开展数据分析,需要从哪几个角度进行分析,采用哪些分析指标。
2、收集数据
收集数据是按照确定的数据分析框架收集相关数据的过程,它为数据分析提供了素材和依据。这里所说的数据包括第一手数据与第二手数据,第一手数据主要指可直接获取的数据比如公司自己的业务数据库中的业务数据,第二手数据主要指经过加工整理后得到的数据例如一些公开出版物或者第三方的数据网站。
3、处理数据
处理数据是指对收集到的数据进行加工整理,形成适合数据分析的样式,它是数据分析前必不可少的阶段。数据处理的基本目的是从大量的、杂乱无章、难以理解的数据中,抽取并推导出对解决问题有价值、有意义的数据。数据处理主要包括数据清洗、数据转化、数据提取、数据计算等处理方法。
4、分析数据
分析数据是指用适当的分析方法及工具,对处理过的数据进行分析,提取有价值的信息,形成有效结论的过程。由于数据分析多是通过软件来完成的,这就要求数据分析师不仅要掌握各种数据分析方法,还要熟悉数据分析软件的操作。
5、可视化
一般情况下,数据是通过表格和图形的方式来呈现的,我们常说用图表说话就是这个意思。常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等,当然可以对这些图表进一步整理加工,使之变为我们所需要的图形,例如金字塔图、矩阵图、漏斗图等。
6、撰写报告
撰写数据分析报告其实是对整个数据分析过程的一个总结与呈现,通过清晰的结构和图文并茂的展现方式去展具有建设意义的解决方案。
⑽ 数据分析师常用的思维分析方式是什么
1. 对比思维
对比这两个字大家肯定都不陌生,比如买东西我们会货比三家,其实生活中处处有对比。
比如说,小芳一直成绩优异,但是末次考试发挥失常,数学只考了40分,班主任找到小芳谈话,问她说:“你最近怎么回事,上次你数学考了80分,全班前十,这次怎么考的这么差?你看看你的同桌,这次都考了73分。”
从这个小故事中可以看出,对比一般有两种方式,横向对比和纵向对比。横向对比也就是与同类对比,比如班主任拿小芳的成绩跟她同桌的成绩做对比。纵向对比是指同一类型不同时间的对比,比如班主任拿小芳这次的成绩和上次的成绩做对比。
2. 细分思维
细分思维很多人可能乍一听不太明白,其实生活中很多小事都体现了细分思维。就比如我们人体是由九大系统构成的,系统又是由器官构成的,器官是由组织构成的、细胞又构成了组织,层层细分。
再拿刚刚的例子来说,还是我们的小芳同学,还是刚刚那场考试,班主任让小芳对自己这考试的总成绩做一个总结,小芳拿着成绩单仔细研究,发现这次总成绩不是很好,但是仔细一看,发现除了数学成绩只考了40分以外,其他科目的成绩都名列前茅,数学成绩拉低了小芳的整体成绩。
在这里我们就是把整体考试成绩细分为具体的科目来总结归因。在数据分析的工作中,细分的纬度主要包括时间、地区、渠道、产品、员工、客户等。杜邦分析法、麦肯锡的 MECE 分析法本质上都属于细分思维。
3. 溯源思维
前两个思维能够对应一部分数据分析工作要求,但是如果有一些数据不能用前两种思维来处理怎么办呢?
那我们就可以用到另一种溯源思维。俗话说追根溯源,很多时候我们要想知道事物背后的逻辑原因,最好的方法可能是去探究事物发生的原因,来帮助我们分析。
继续拿小芳举例,她放学回家把成绩单交给妈妈,妈妈通过对比、细分的思维方法知道了小芳这次考试的大概情况,也知道是数学失利了。但是小芳的数学一向是强项,妈妈还是无法理解为什么会在这里出问题,于是妈妈找来小芳谈心,详细了解了考试时的情况,才发现是因为小芳考数学的那天中午吃坏了肚子,下午的数学考试刚好发作,疼痛难忍,以至于很多本来会做的题目都做错了。妈妈也理解了小芳,并且向小芳表达了歉意,也会更注重小芳的饮食问题。
上面的例子里,小芳的妈妈无法从表面的数据上分析出事情发生的原因,于是采用了溯源思维,找到了真正的原因。如果数据分析师在工作中也能利用好溯源思维,那么对数据的敏感和业务的理解也能逐步加深。
4. 相关思维
上面几种思维是比较常用的思维方式,下面我们就来说说相关思维,这也是数据分析的核心思维能力。
很多人可能都知道着名的啤酒与尿布的故事,在业界是一个相关分析的经典案例。故事背景是20世纪90年代的美国沃尔玛超市,当时沃尔玛拥有世界上最大的数据仓库系统,为了能够准确了解顾客在其门店的购买习惯,沃尔玛对其顾客的购物行为进行购物篮分析,想知道顾客经常一起购买的商品有哪些。
沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上,沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是:跟尿布一起购买最多的商品竟是啤酒。
经过大量实际调查和分析,揭示了一个隐藏在“尿布与啤酒”后的美国人的一种行为模式:在美国,一些年轻的父亲下班后经常要到超市去买婴儿尿布,而他们中有30%~40%的人同时也为自己买一些啤酒。产生这一现象的原因是:美国的妻子们常叮嘱她们的丈夫下班后为小孩买尿布,而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。
如果数据分析师能够熟练灵活的将相关分析运用到工作中,就能从仅仅知道数据分析的结果是什么进阶到知道呈现这个结果的原因是为什么。
5. 假设思维
之前的思维模式都是建立在我们有大量的已知数据可以进行分析论证的时候,那么如果我们还没有足够的数据量或者证据来验证这件事,我们应该怎么办呢?这种时候就可以用到我们的假设思维。先对大胆进行假设,然后再小心求证,最后去想办法验证假设是否成立。
比如,小芳想吃荔枝,于是下楼去买,跟卖荔枝的阿姨之间有这样一段对话:
小芳:“阿姨,你这荔枝甜不甜?”
阿姨:“甜啊,我这有切好的,你先尝一尝试试。”
小芳:“好,那我尝一个。”
小芳拿来一个荔枝,尝了一口:“嗯,不错,确实挺甜的,给我称两斤吧。”
上面这个看似简单的小故事,其实就隐藏了简单的假设检验。首先,小芳提出假设:荔枝是甜的;其次,随机抽取一个样本;然后,检验是否是甜的;最后,作出判断,确认荔枝真的是甜的,所以就购买了。
在数据分析中,假设思维的专业术语叫假设检验,一般包括四个步骤,即:提出假设、抽取样本、检验假设、作出判断。数据分析师可以充分利用这一思维模式。
6. 逆向思维
逆向思维这个词大家一定都不陌生,很多着名企业家的演讲中就常常提到这个词,他们都提倡打破常规的思维模式,从相反的方向来思考问题。
下面我们邀请小芳同学再次登场。
有一次,小芳去买辣椒,跟阿姨之间又有一段对话。
小芳:“阿姨,你这辣椒多少钱一斤?”
阿姨:“一块五。”
小芳挑了 3 个放到秤盘:“阿姨,帮我称一下。”
阿姨:“一斤半,两 块 2 毛。”
小芳去掉其中最大的辣椒:“做汤不用那么多。”
摊主:“一斤二两,一块6毛。”
小芳拿起刚刚去掉的那个最大的辣椒,付了 6毛钱,笑着跟阿姨说了再见。
你看,运用逆向思维,有时可能会起到意想不到的效果。
7. 演绎思维
演绎思维相对于前面的几种思维方式可能不是那么好理解。
演绎思维的方向是由一般到个别,大家要记住这一点,后面我们还会提到。也就是说,演绎的前提是一般性的抽象知识,而结论是个别性的具体知识。演绎的主要形式是由大前提、小前提、结论三部分组成的三段论。
以物理学上一个常识为例。
大前提:金属能导电。
小前提:银铁是金属。
结论:银能导电。
从这个例子中可以看出,大前提是已知的一般原理(金属能导电),小前提是研究的特殊场合(铁是金属),结论是将特殊场合归到一般原理之下得出的新知识(银能导电)。
8. 归纳思维
归纳思维的方向与演绎正好相反,归纳的过程是从个别到一般。
还是以金属能导电为例。
前提:金能导电,银能导电,铜能导电,铝能导电。
结论:金属能导电。
数据分析的过程,往往是先接触到个别事物,而后进行归纳总结,推及一般,再进行演绎推理,从一般推及个别,如此循环往复,不断积累经验。
总结
本文总结了数据分析的 8 种思维,分别是对比、细分、溯源、相关、假设、逆向、演绎、归纳。作为一名数据分析师,如果在工作中能充分运用好这些思维,是对个人能力极大地提升,就能够在工作中创造更多的个人价值。