电影数据分析降维方法

1. 数据分析 常用的降维方法之主成分分析

数据分析：常用的降维方法之主成分分析

主成分分析（Principal Component Analysis，PCA）也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。
主成分分析的主要作用
1．主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p维的X空间(m＜p)，而低维的Y空间代替 高维的x空间所损失的信息很少。即：使只有一个主成分Yl(即 m＝1)时，这个Yl仍是使用全部X变量(p个)得到的。例如要计算Yl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。
2．有时可通过因子负荷aij的结论，弄清X变量间的某些关系。
3．多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位，进而还可以对样本进行分类处理，可以由图形发现远离大多数样本点的离群点。
4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。
5．用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。
主成分分析法的计算步骤
1、原始指标数据的标准化采集p 维随机向量x = (x1,X2,...,Xp)T)n 个样品xi = (xi1,xi2,...,xip)T ，i=1,2,…,n，
n＞p，构造样本阵，对样本阵元进行如下标准化变换：
Z_{ij}=frac{x_{ij}-bar{x}_j}{s_j},i=1,2,...,n; j=1,2,...,p
其中bar{x}_j=frac{sum^{n}_{i=1}x_{ij}}{n},s^2_j=frac{sum^n_{i=1}(x_{ij}-bar{x}_j)^2}{n-1}，得标准化阵Z。
2、对标准化阵Z 求相关系数矩阵
R=left[r_{ij}right]_pxp=frac{Z^T Z}{n-1}
其中,r_{ij}=frac{sum z_{kj}cdot z_{kj}}{n-1},i,j=1,2,...,p 。
3、解样本相关矩阵R 的特征方程left|R-lambda I_pright|=0得p 个特征根,确定主成分
按frac{sum^m_{j=1}lambda_j}{sum^p_{j=1}lambda_j}ge 0.85 确定m 值，使信息的利用率达85%以上，对每个λj, j=1,2,...,m, 解方程组Rb = λjb得单位特征向量b^o_j 。
4、将标准化后的指标变量转换为主成分
U_{ij}=z^{T}_{i}b^{o}_{j},j=1,2,...,m
U1称为第一主成分,U2 称为第二主成分,…,Up 称为第p 主成分。
5 、对m 个主成分进行综合评价
对m 个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。
因子分析
因子分析法是指从研究指标相关矩阵内部的依赖关系出发，把一些信息重叠、具有错综复杂关系的变量归结为少数几个不相关的综合因子的一种多元统计分析方法。基本思想是：根据相关性大小把变量分组，使得同组内的变量之间相关性较高，但不同组的变量不相关或相关性较低，每组变量代表一个基本结构一即公共因子。
因子分析法的步骤
(1)对数据样本进行标准化处理。
(2)计算样本的相关矩阵R。
(3)求相关矩阵R的特征根和特征向量。
(4)根据系统要求的累积贡献率确定主因子的个数。
(5)计算因子载荷矩阵A。
(6)确定因子模型。
(7)根据上述计算结果，对系统进行分析。

以上是小编为大家分享的关于数据分析 常用的降维方法之主成分分析的相关内容，更多信息可以关注环球青藤分享更多干货

2. 数据分析的五大思维方式

数据分析的五大思维方式

发现很多朋友不会处理数据，这个过程叫做数据清洗，中间可能涉及到编程，分析人员是应该学点编程的，后面抽时间给大家介绍一下，今天不讲这个。

今天要讲数据分析的五大思维方式。

首先，我们要知道，什么叫数据分析。其实从数据到信息的这个过程，就是数据分析。数据本身并没有什么价值，有价值的是我们从数据中提取出来的信息。

然而，我们还要搞清楚数据分析的目的是什么?

目的是解决我们现实中的某个问题或者满足现实中的某个需求。

那么，在这个从数据到信息的过程中，肯定是有一些固定的思路，或者称之为思维方式。下面零一给你一一介绍。(本文用到的指标和维度是同一个意思)

第一大思维【对照】

【对照】俗称对比，单独看一个数据是不会有感觉的，必需跟另一个数据做对比才会有感觉。比如下面的图a和图b。

图a毫无感觉

图b经过跟昨天的成交量对比，就会发现，今天跟昨天实则差了一大截。

这是最基本的思路，也是最重要的思路。在现实中的应用非常广，比如选款测款丶监控店铺数据等，这些过程就是在做【对照】，分析人员拿到数据后，如果数据是独立的，无法进行对比的话，就无法判断，等于无法从数据中读取有用的信息。

第二大思维【拆分】

分析这个词从字面上来理解，就是拆分和解析。因此可见，拆分在数据分析中的重要性。在派代上面也随处可见“拆分”一词，很多作者都会用这样的口吻：经过拆分后，我们就清晰了……。不过，我相信有很多朋友并没有弄清楚，拆分是怎么用的。

我们回到第一个思维【对比】上面来，当某个维度可以对比的时候，我们选择对比。再对比后发现问题需要找出原因的时候?或者根本就没有得对比。这个时候，【拆分】就闪亮登场了。

大家看下面一个场景。

运营小美，经过对比店铺的数据，发现今天的销售额只有昨天的50%，这个时候，我们再怎么对比销售额这个维度，已经没有意义了。这时需要对销售额这个维度做分解，拆分指标。

销售额=成交用户数*客单价，成交用户数又等于访客数*转化率。

详见图c和图d

图c是一个指标公式的拆解

图b是对流量的组成成分做的简单分解(还可以分很细很全)

拆分后的结果，相对于拆分前会清晰许多，便于分析，找细节。可见，拆分是分析人员必备的思维之一。

第三大思维【降维】

是否有面对一大堆维度的数据却促手无策的经历?当数据维度太多的时候，我们不可能每个维度都拿来分析，有一些有关联的指标，是可以从中筛选出代表的维度即可。如下表

这么多的维度，其实不必每个都分析。我们知道成交用户数/访客数=转化率，当存在这种维度，是可以通过其他两个维度通过计算转化出来的时候，我们就可以【降维】.

成交用户数丶访客数和转化率，只要三选二即可。另外，成交用户数*客单价=销售额，这三个也可以三择二。

另外，我们一般只关心对我们有用的数据，当有某些维度的数据跟我们的分析无关时，我们就可以筛选掉，达到【降维】的目的。

第四大思维【增维】

增维和降维是对应的，有降必有增。当我们当前的维度不能很好地解释我们的问题时，我们就需要对数据做一个运算，增加多一个指标。请看下图。

我们发现一个搜索指数和一个宝贝数，这两个指标一个代表需求，一个代表竞争，有很多人把搜索指数/宝贝数=倍数，用倍数来代表一个词的竞争度(仅供参考)。这种做法，就是在增维。增加的维度有一种叫法称之为【辅助列】。

【增维】和【降维】是必需对数据的意义有充分的了解后，为了方便我们进行分析，有目的的对数据进行转换运算。

第五大思维【假说】

当我们拿不准未来的时候，或者说是迷茫的时候。我们可以应用【假说】，假说是统计学的专业名词吧，俗称假设。当我们不知道结果，或者有几种选择的时候，那么我们就召唤【假说】，我们先假设有了结果，然后运用逆向思维。

从结果到原因，要有怎么样的因，才能产生这种结果。这有点寻根的味道。那么，我们可以知道，现在满足了多少因，还需要多少因。如果是多选的情况下，我们就可以通过这种方法来找到最佳路径(决策)

当然，【假说】的威力不仅仅如此。【假说】可是一匹天马(行空)，除了结果可以假设，过程也是可以被假设的。

我们回到数据分析的目的，我们就会知道只有明确了问题和需求，我们才能选择分析的方法。

顺带给大家讲讲三大数据类型。这个属于偷换概念，其实就是时间序列的细分，不是真正意义上的数据类型，但这个却是在处理店铺数据时经常会碰到的事情。数据放在坐标轴上面分【过去】丶【现在】和【未来】

第一大数据类型【过去】

【过去】的数据指历史数据，已经发生过的数据。

作用：用于总结丶对照和提炼知识

如：历史店铺运营数据，退款数据，订单数据

第二大数据类型【现在】

【现在】的概念比较模糊，当天，当月，今年这些都可以是现在的数据，看我们的时间单位而定。如果我们是以天作为单位，那么，今天的数据，就是现在的数据。现在的数据和过去的数据做比较，才可以知道现在自己是在哪个位置，单有现在的数据，是没什么用处的。

作用：用于了解现况，发现问题

如：当天的店铺数据

第三大数据类型【未来】

【未来】的数据指未发生的数据，通过预测得到。比如我们做得规划，预算等，这些就是在时间点上还没有到，但是却已经有了数据。这个数据是作为参考的数据，预测没有100%，总是有点儿出入的。

作用：用于预测

如：店铺规划，销售计划

三种数据是单向流动的，未来终究会变成现在，直到变成过去。

他人我不知道，但我自己非常喜欢把数据往坐标轴上面放，按时间段一划分，每个数据的作用就非常清晰。

以上是小编为大家分享的关于数据分析的五大思维方式的相关内容，更多信息可以关注环球青藤分享更多干货

3. 降维的方法主要有

在分析高维数据时，降维（Dimensionality rection，DR）方法是我们不可或缺的好帮手。

作为数据去噪简化的一种方法，它对处理大多数现代生物数据很有帮助。在这些数据集中，经常存在着为单个样本同时收集数百甚至数百万个测量值的情况。

由于“维度灾难”（curse of dimensionality）的存在，很多统计方法难以应用到高维数据上。虽然收集到的数据点很多，但是它们会散布在一个庞大的、几乎不可能进行彻底探索的高维空间中。

通过降低数据的维度，你可以把这个复杂棘手的问题变得简单轻松。除去噪音但保存了所关注信息的低维度数据，对理解其隐含的结构和模式很有帮助。原始的高维度数据通常包含了许多无关或冗余变量的观测值。降维可以被看作是一种潜在特征提取的方法。它也经常用于数据压缩、数据探索以及数据可视化。

虽然在标准的数据分析流程中已经开发并实现了许多降维方法，但它们很容易被误用，并且其结果在实践中也常被误解。

本文为从业者提供了一套有用的指南，指导其如何正确进行降维，解释其输出并传达结果。

技巧1：选择一个合适的方法

当你想从现有的降维方法中选择一种进行分析时，可用的降维方法的数量似乎令人生畏。事实上，你不必拘泥于一种方法；但是，你应该意识到哪些方法适合你当前的工作。

降维方法的选择取决于输入数据的性质。比如说，对于连续数据、分类数据、计数数据、距离数据，它们会需要用到不同的降维方法。你也应该用你的直觉和相关的领域知识来考虑收集到的数据。通常情况下，观测可以充分捕获临近（或类似）数据点之间的小规模关系，但并不能捕获远距离观测之间的长期相互作用。对数据的性质和分辨率的考虑是十分重要的，因为降维方法可以还原数据的整体或局部结构。一般来说，线性方法如主成分分析（Principal Component Analysis, PCA）、对应分析（Correspondence Analysis, CA）、多重对应分析（Multiple Correspondence Analysis, MCA）、经典多维尺度分析（classical multidimensional scaling, cMDS）也被称为主坐标分析（Principal Coordinate Analysis, PCoA） 等方法，常用于保留数据的整体结构；而非线性方法，如核主成分分析（Kernel Principal Component Analysis, Kernel PCA）、非度量多维尺度分析（Nonmetric Multidimensional Scaling, NMDS）、等度量映射（Isomap）、扩散映射（Diffusion Maps）、以及一些包括t分布随机嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）在内的邻近嵌入技术，更适合于表达数据局部的相互作用关系。NE技术不会保留数据点之间的长期相互作用关系，其可视化报告中的非临近观测组的排列并没有参考价值。因此，NE的图表不应该被用于数据的大规模结构的推测

4. 分析电影数据的用哪个分析方法好

有啊 ，比如最简单的一个比方，《青春期》。这电影烂的不能在烂，但是用了一些观众数据很轻松对了 不知道多少钱，反正是赚了不少 几千万那样子吧

5. PCA主成分分析图像数据降维代码求教

获取n行m列原始数据，写成n*m的矩阵形式；
数据中心化。即把每个属性的均值处理设为0（下面木羊将给出自己编写的源代码，木羊的数据用列代表属性，在该步骤中，就把每列的均值都设置为0）。
根据中心化后的矩阵求协方差矩阵。协方差有三种值，0表示属性之间相互独立，没有影响；正值表示属性是正相关的关系，若属性A和属性B是正相关关系，则A增加B也增加，A减小B也减小；负值表示属性是负相关的关系，若属性C和属性D是负相关关系，则C增加D减小，C减小D增加。所以，协方差矩阵也可以理解为相关系数矩阵，表示属性间的相关程度。
根据协方差矩阵求特征值矩阵。特征值矩阵只有对角线上的元素有值，上三角和下三角元素都为0.
根据特征值矩阵求对应的特征向量。
对特征值矩阵进行排序，并设定一个阈值，若前i个特征矩阵的和>=设定的阈值，则就有i个主成分，取其对应的特征向量，定为主成分向量矩阵。
原始矩阵乘以转置后的主成分向量即得降维后的矩阵。比如，原始数据是150*4的矩阵，在步骤6中取得了2个主成分，那么主成分矩阵就是2*4的矩阵。150*4的矩阵乘以4*2的矩阵，即得150*2的矩阵，体现了降维效果。（选取这个属性较少的数据集是为了方便初学者的理解，在实际工程中，我们的属性值往往不止4个，但降维方法都一样的。）

6. 有人说数据可视化就是降维，这个说法的含义是什么，有什么局限性

数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。
它是一个处于不断演变之中的概念，其边界在不断地扩大。主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。
数据可视化技术包含以下几个基本概念：
①数据空间：是由n维属性和m个元素组成的数据集所构成的多维信息空间；
②数据开发：是指利用一定的算法和工具对数据进行定量的推演和计算；
③数据分析：指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据；
④数据可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。
数据可视化已经提出了许多方法，这些方法根据其可视化的原理不同可以划分为基于几何的技术、面向像素技术、基于图标的技术、基于层次的技术、基于图像的技术和分布式技术等等。

7. 请问怎样把三年的数据进行降维分析

可以分开做三次，也可以取平均值做一次，也可以做面板主成分分析

8. 这是spss数据分类分析还是降维还是维度分析

这种调查问卷或心理测试很明显要用因子分析，因为这些被访者的回答都只是个表象罢了，其实决定他们怎么回答的是内在的因素，比如人们的自信程度啊等等。
用因子分析，分析出这些潜在的变量后，用这些潜在变量做聚类分析，把被访者分成几个群体。

9. 降维分析法概念

这种调查问卷或心理测试很明显要用因子分析，因为这些被访者的回答都只是个表象罢了，其实决定他们怎么回答的是内在的因素，比如人们的自信程度啊等等。
用因子分析，分析出这些潜在的变量后，用这些潜在变量做聚类分析，把被访者分成几个群体。

10. 如何实现降维处理

降维方法分为线性核非线性降维，非线性降维又分为基于核函数和基于特征值的方法。

线性降维方法：PCA ICALDA LFA LPP(LE的线性表示)

于核函数的非线性降维方法：KPCA KICAKDA

基于特征值的非线性降维方法（流型学习）：ISOMAP LLE LE LPP LTSA MVU