Ⅰ 如何对用户进行聚类分析
需要搜集用户的哪些特征？
聚类分析变量选择的原则是：在哪些变量组合的前提，使得类别内部的差异尽可能的小，即同质性高，类别间的差异尽可能的大，即同质性低，并且变量之间不能存在高度相关。
常用的用户特征变量有：
①
人口学变量：如年龄、性别、婚姻、教育程度、职业、收入等。通过人口学变量进行分类，了解每类人口的需求有何差异。
②
用户目标：如用户为什么使用这个产品？为什么选择线上购买？了解不同使用目的的用户的各自特征，从而查看各类目标用户的需求。
③
用户使用场景：用户在什么时候，什么情况下使用这个产品？了解用户在各类场景下的偏好/行为差异。
④
用户行为数据：如使用频率，使用时长，客单价等。划分用户活跃等级，用户价值等级等。
⑤
态度倾向量表：如消费偏好，价值观等，看不同价值观、不同生活方式的群体在消费取向或行为上的差异。
需要多少样本量？
没有限制，通常情况下与实际应用有关，如果非要加一个理论的限制，通常认为，样本的个数要大于聚类个数的平方。
①如果需要聚类的数据量较少（<100），那么三种方法(层次聚类法，K-均值聚类法，两步聚类法)都可以考虑使用。优先考虑层次聚类法，因为层次聚类法产生的树状图更加直观形象，易于解释，并且，层次聚类法提供方法、距离计算方式、标准化方式的丰富程度也是其他两种方法所无法比拟的。
②如果需要聚类的数据量较大（>1000），应该考虑选择快速聚类别法或者两步聚类法进行。
③如果数据量在100～1000之间，理论上现在的计算条件是可能满足任何聚类方法的要求的，但是结果的展示会比较困难，例如不可能再去直接观察树状图了。
应用定量方法还是定性方法？
聚类分析是一种定量分析方法，但对聚类分析结果的解释还需要结合定性资料讨论。
1.聚类分析的定义与用途
聚类分析（Cluster Analysis）是一种探索性的数据分析方法，根据指标/变量的数据结构特征，对数据进行分类，使得类别内部的差异尽可能的小，即同质性高，类别间的差异尽可能的大，即同质性低。
2.聚类分析的方法
①层次聚类法（Hierarchical），也叫系统聚类法。既可处理分类变量，也可处理连续变量，但不能同时处理两种变量类型，不需要指定类别数。聚类结果间存在着嵌套，或者说层次的关系。
②K-均值聚类法（K-Means Cluster），也叫快速聚类法。针对连续变量，也可处理有序分类变量，运算很快，但需要指定类别数。K-均值聚类法不会自动对数据进行标准化处理，需要先自己手动进行标准化分析。
③两步聚类法（Two-Step Cluster）：可以同时处理分类变量和连续变量，能自动识别最佳的类别数，结果比较稳定。如果只对连续变量进行聚类，描述记录之间的距离性时可以使用欧氏（Euclidean）距离，也可以使用对数似然值（Log-likelihood），如果使用前者，则该方法和传统的聚类方法并无太大区别；但是若进行聚类的还有离散变量，那么就只能使用对数似然值来表述记录间的差异性。当聚类指标为有序类别变量时，Two-Step Cluster出来的分类结果没有K-means cluster的明晰，这是因为K-means算法假定聚类指标变量为连续变量。
3.聚类分析的步骤
①确定研究目的：研究问题关注点有哪些、是否有先验分类数…
②问卷编制：态度语句李克特项目、有序类别…
③确定分析变量：问卷变量的类型，连续or分类，有序类别or无序类别、是否纳入后台数据，变量间相关性低…
④聚类分析：聚类分析方法选择、数据标准化方法、聚类类别数确定…
⑤结果检验：类别间差异分析、是否符合常理…
⑥聚类结果解释：类别的命名、类别间的差异、结合定性资料解释…
Ⅱ 常用的统计分析方法总结(聚类分析、主成分分析、因子分析)
1. 系统聚类法 :由N类--1类
2. 分解法 ：由1类---N类
3. K-均值法 ：事先在聚类过程中确定在K类，适用于数据量大的数据
4. 有序样品的聚类 ：N个样品排序，次序相邻的样品聚成一类
5. 模糊聚类法 ：模糊数学的方法，多用于定性变量
6. 加入法 ：样品依次加入，全部加入完得到聚类图。
a.夹角余弦
b.相关系数
a.常用的类间距离定义有8种之多，与之相应的 系统聚类法 也有8种，分别为
a. 中间距离法
b. 最短距离法 ：类与类之间的距离最近两个样品的距离。
c. 最长距离法 ：类与类之间的距离最远两个样品的距离。【先距离最短，后距离最远合并】
d. 类平均法 ：两类元素中任两个样品距离的平均。
e. 重心法 ：两个重心xp 和xq 的距离。
f. 可变类平均法
e. 离差平方和法（Ward法） ： 该方法的基本思想来自于方差分析，如果分类正确，同 类样品的离差平方和应当较小，类与类的离差平方和较大。 具体做法是先将 n 个样品各自成一类，然后每次缩小一类，每 缩小一类，离差平方和就要增大，选择使方差增加最小的两 类合并，直到所有的样品归为一类为止。
a. 最短距离法的主要缺点是它有链接聚合的趋势，容易形 成一个比较大的类，大部分样品都被聚在一类中，所以最短 距离法的聚类效果并不好，实际中不提倡使用。
b. 最长距离法克服了最短距离法链接聚合的缺陷，两类合 并以后与其他类的距离是原来两个类中的距离最大者，加大 了合并后的类与其他类的距离。
a. 定义 ：主成分分析（Principal Component Analysis，简记 PCA）是将 多个指标化为少数几个综合指标的一种统计分析方法 ，通常我们把转化成的综合指标称为主成分。
b. 本质：降维
c. 表达 ：主成分为原始变量的线性组合
d. 即信息量在空间降维以后信息量没有发生改变，所有主成分的方差之和与原始的方差之和
e. 多个变量之间有一定的相关性，利用原始变量 的线性组合形成几个综合指标（主成分），在保留原始变量主要信息的前提下起到降维与简化问题的作用。
f. 累积贡献率一般是 85% 以上
（1）每一个主成分都是各 原始变量的线性组合
（2）主成分的数目大大少于原始变量的数目
（3）主成分保留了原始变量绝大多数信息
（4）各主成分之间 互不相关
a. 基本目的：用 少数几个综合因子去描述多个随机变量之间的相关关系 。
b. 定义：多个变量————少数综合因子（不存在的因子）
c. 显在变量：原始变量X；潜在变量：因子F
d. X=AF+e【公共因子+特殊因子】
e. 应用： 因子分析主要用于相关性很强的多指标数据的降维处理。
f. 通过研究原始变量相关矩阵内部 的依赖关系，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。
g. 定义：原始的变量是可观测的显在变量，而 综合 的因子是 不可观测 的 潜在变量 ，称为因子。
i. 根据相关性大小把原始变量分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。
ii. 公共因子 ：每组变量代表一个基本结构，并用一个不可观测的综合变量表示。
iii. 对于所研究的某一具体问题，原始变量分解成两部分：
i. R 型因子分析——研究变量之间的相关关系
ii. Q 型因子分析——研究样品之间的相关关系
a. 因子载荷 是第i个变量与第j个公共因子的相关系数，绝对值越大，相关的密切程度越高。
a. 变量 Xi 的共同度是因子载荷矩阵的第i行的元素的平方和。记为
b. 所有的公共因子与特殊因子对变量 Xi 的贡献和为1。
a. 确定因子载荷
b. 因子旋转
c. 计算因子得分
a. 寻找简单结构的载荷矩阵：载荷矩阵A的所有元素都接 近0或±1，则模型的公共因子就易于解释。
b. 如果各主因子的典型代表变量不突出，就需要进行旋转使因子载荷矩阵中载荷的绝对值向0和1两个方向分化。
a.意义：对公共因子作正交旋转相当于对载荷矩阵 A 作一正交变换 ，右乘正交矩阵 T ，使 A* = AT 能有更鲜明的实际意义。
b.几何意义：是在 m 维空间上对原因子轴作一刚性旋转。 因子旋转不改变公共因子的共同度，这是因为 A A '=ATT'A'=AA'
c. 旋转方法有：正交旋转和斜交旋转
d. 最普遍的是： 最大方差旋转法
a. 定义：通过坐标变换使各个因子载荷的方差之和最大。
b. 任何一个变量只在一个因子上有高贡献率，而在 其它因子上的载荷几乎为0；
c. 任何一个因子只在少数变量上有高载荷,而在其 它变量上的载荷几乎为0。
思想相同： 降维
前提条件：各变量间必须有 相关性 ，否则各变量之间没有共享信息
Ⅲ 数据分析方法有哪些
常用的数据分析方法有：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析。
1、聚类分析(Cluster Analysis)
聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。
2、因子分析(Factor Analysis)
因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。
3、相关分析(Correlation Analysis)
相关分析(correlation analysis)，相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。
4、对应分析(Correspondence Analysis)
对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
5、回归分析
研究一个随机变量Y对另一个(X)或一组(X1，X2，?，Xk)变量的相依关系的统计分析方法。回归分析(regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。
6、方差分析(ANOVA/Analysis of Variance)
又称“变异数分析”或“F检验”，是R.A.Fisher发明的，用于两个及两个以上样本均数差别的显着性检验。由于各种因素的影响，研究所得的数据呈现波动状。
想了解更多关于数据分析的信息，推荐到CDA数据认证中心看看，CDA（Certified Data Analyst），即“CDA 数据分析师”，是在数字经济大背景和人工智能时代趋势下，面向全行业的专业权威国际资格认证， 旨在提升全民数字技能，助力企业数字化转型，推动行业数字化发展。 “CDA 数据分析师”具体指在互联网、金融、零售、咨询、电信、医疗、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、 提供决策的新型数据分析人才。
Ⅳ 什么是聚类分析
类通过把目标数据放入少数相对同源的组或“类”（cluster）里。分析表达数据，（1）通过一系列的检测将待测的一组基因的变异标准化，然后成对比较线性协方差。（2）通过把用最紧密关联的谱来放基因进行样本聚类，例如用简单的层级聚类（hierarchical clustering）方法。这种聚类亦可扩展到每个实验样本，利用一组基因总的线性相关进行聚类。（3）多维等级分析（multidimensional scaling analysis,MDS）是一种在二维Euclidean “距离”中显示实验样本相关的大约程度。（4）K-means方法聚类，通过重复再分配类成员来使“类”内分散度最小化的方法。
聚类方法有两个显着的局限：首先，要聚类结果要明确就需分离度很好（well-separated）的数据。几乎所有现存的算法都是从互相区别的不重叠的类数据中产生同样的聚类。但是，如果类是扩散且互相渗透，那么每种算法的的结果将有点不同。结果，每种算法界定的边界不清，每种聚类算法得到各自的最适结果，每个数据部分将产生单一的信息。为解释因不同算法使同样数据产生不同结果，必须注意判断不同的方式。对遗传学家来说，正确解释来自任一算法的聚类内容的实际结果是困难的（特别是边界）。最终，将需要经验可信度通过序列比较来指导聚类解释。
第二个局限由线性相关产生。上述的所有聚类方法分析的仅是简单的一对一的关系。因为只是成对的线性比较，大大减少发现表达类型关系的计算量，但忽视了生物系统多因素和非线性的特点。
从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多着名的统计分析软件包中，如SPSS、SAS等。
从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。
从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。就数据挖掘功能而言，聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。
聚类分析还可以作为其他数据挖掘任务（如分类、关联规则）的预处理步骤。
数据挖掘领域主要研究面向大型数据库、数据仓库的高效实用的聚类分析算法。
聚类分析是数据挖掘中的一个很活跃的研究领域，并提出了许多聚类算法。
这些算法可以被分为划分方法、层次方法、基于密度方法、基于网格方法和
基于模型方法。
1 划分方法(PAM:PArtitioning method) 首先创建k个划分，k为要创建的划分个数；然后利用一个循环
定位技术通过将对象从一个划分移到另一个划分来帮助改善划分质量。典型的划分方法包括：
k-means,k-medoids,CLARA(Clustering LARge Application),
CLARANS(Clustering Large Application based upon RANdomized Search).
FCM
2 层次方法(hierarchical method) 创建一个层次以分解给定的数据集。该方法可以分为自上
而下（分解）和自下而上（合并）两种操作方式。为弥补分解与合并的不足，层次合
并经常要与其它聚类方法相结合，如循环定位。典型的这类方法包括：
第一个是;BIRCH(Balanced Iterative Recing and Clustering using Hierarchies) 方法，它首先利用树的结构对对象集进行划分；然后再利
用其它聚类方法对这些聚类进行优化。
第二个是CURE(Clustering Using REprisentatives) 方法，它利用固定数目代表对象来表示相应聚类；然后对各聚类按照指定
量（向聚类中心）进行收缩。
第三个是ROCK方法，它利用聚类间的连接进行聚类合并。
最后一个CHEMALOEN，它则是在层次聚类时构造动态模型。
3 基于密度方法，根据密度完成对象的聚类。它根据对象周围的密度（如
DBSCAN）不断增长聚类。典型的基于密度方法包括：
DBSCAN(Densit-based Spatial Clustering of Application with Noise):该算法通过不断生长足够高密
度区域来进行聚类；它能从含有噪声的空间数据库中发现任意形状的聚类。此方法将一个聚类定义
为一组“密度连接”的点集。
OPTICS(Ordering Points To Identify the Clustering Structure):并不明确产生一
个聚类，而是为自动交互的聚类分析计算出一个增强聚类顺序。。
4 基于网格方法，首先将对象空间划分为有限个单元以构成网格结构；然后利
用网格结构完成聚类。
STING(STatistical INformation Grid) 就是一个利用网格单元保存的统计信息进行基
于网格聚类的方法。
CLIQUE(Clustering In QUEst)和Wave-Cluster 则是一个将基于网格与基于密度相结合的方
法。
5 基于模型方法，它假设每个聚类的模型并发现适合相应模型的数据。典型的
基于模型方法包括：
统计方法COBWEB:是一个常用的且简单的增量式概念聚类方法。它的输入对象是采
用符号量（属性-值）对来加以描述的。采用分类树的形式来创建
一个层次聚类。
CLASSIT是COBWEB的另一个版本.。它可以对连续取值属性进行增量式聚
类。它为每个结点中的每个属性保存相应的连续正态分布（均值与方差）；并利
用一个改进的分类能力描述方法，即不象COBWEB那样计算离散属性（取值）
和而是对连续属性求积分。但是CLASSIT方法也存在与COBWEB类似的问题。
因此它们都不适合对大数据库进行聚类处理.