⑴ 技术 | 文本聚类与分类
按照处理的对象和处理的方法不同，可将常见文本分类/聚类任务分为以下几种：
① 文档聚类： 把一组未知类别的文档划分为若干类别，例如将介绍奥运会的新闻都归到某一类；
② 文档分类： 给定一个文档，将其划分到预定义好的某一个类别中，例如将所有介绍奥运会的新闻都标记为“体育”；
③ 词汇聚类： 把一组未知类别的词汇划分为若干类别，例如将各种运动的项目名称（词汇）都归为一类；
④ 词汇分类： 给定一个词汇，将其划分到预定义好的某一个类别中，例如将篮球、足球等都比较为球类，将打猎、射箭等都标记为射击。
要实现上述目的，通常有以下几个核心问题要解决：
1. 特征选择
1.1 用什么作为特征项
用于表示文本的基本单位通常称为文本的特征或特征项。特征项必须满足：能够标识文本内容、能够将目标文本与其他文本相区分、个数不能太多、特征项分离要比较容易实现。在中文文本中可以采用字、词或短语作为表示文本的特征项。
相比较而言，词比字具有更强的表达能力，而词和短语相比，词的切分难度比短语的切分难度小得多。因此，目前大多数中文文本分类系统都采用词作为特征项，称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算 。
1.2 选取哪些作为特征项
如果把所有的词都作为特征项，那么特征向量的维数将过于巨大，从而导致计算量太大，在这样的情况下，要完成文本分类几乎是不可能的。特征提取的主要功能是在不损伤文本核心信息的情况下尽量减少要处理的单词数，以此来降低向量空间维数，从而简化计算，提高文本处理的速度和效率。
特征选取的方式有2种：用映射或变换的方法把原始特征变换为较少的新特征（将原始特征用新特征表示）；从原始特征中挑选出一些最具代表性的特征（只保留部分原始特征，不产生新特征），即根据某个特征评估函数计算各个特征的评分值，然后按评分值对这些特征进行排序，选取若干个评分值最高的作为特征词，常见的特征评估函数包括TF-IDF、信息增益、互信息等。
2. 文本表示
2.1 如何表示文档
为了让计算机能够“计算”文本，就需要我们将文本数据转换成计算机可以处理的结构化数据。常见的文本表示模型有布尔模型、向量空间模型、统计主题模型等。其中，向量空间模型概念简单，把对文本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度，直观易懂，目前应用最广。
2.2 如何确立权重
一篇文档有很多词，有些词表达的语义很重要，有些相对次要，那么如何确定哪些重要？哪些次要呢？因此，需要进一步对每个词的重要性进行度量。常见的确立词汇权重的算法有TF-IDF、词频法等。
3. 相似性计算
要实现文本的分类和聚类，需要设计一种算法计算出文档与文档、词汇与词汇之间的相似性。
3.1 文档相似性
设定我们要比较X和Y间的差异，它们都包含了N个维的特征，即X=（x1, x2, x3, … xn），Y=（y1, y2, y3, … yn）。下面来看看主要可以用哪些方法来衡量两者的差异，主要分为距离度量和相似度度量。
a. 距离度量
距离度量（Distance）用于衡量个体在空间上存在的距离，距离越远说明个体间的差异越大。常见的距离有欧几里得距离(Euclidean Distance)、明可夫斯基距离(Minkowski Distance)、曼哈顿距离(Manhattan Distance)、切比雪夫距离(Chebyshev Distance)、马哈拉诺比斯距离(Mahalanobis Distance)。
b. 相似性度量
相似度度量（Similarity），即计算个体间的相似程度，与距离度量相反，相似度度量的值越小，说明个体间相似度越小，差异越大。常见的相似性度量有向量空间余弦相似度(Cosine Similarity)、皮尔森相关系数(Pearson Correlation Coefficient)、Jaccard相似系数(Jaccard Coefficient)、调整余弦相似度(Adjusted Cosine Similarity)。
欧氏距离是最常见的距离度量，而余弦相似度则是最常见的相似度度量，很多的距离度量和相似度度量都是基于这两者的变形和衍生，所以下面重点比较下两者在衡量个体差异时实现方式和应用环境上的区别。下面借助三维坐标系来看下欧氏距离和余弦相似度的区别：
从图上可以看出距离度量衡量的是空间各点间的绝对距离，跟各个点所在的位置坐标（即个体特征维度的数值）直接相关；而余弦相似度衡量的是空间向量的夹角，更加的是体现在方向上的差异，而不是位置。如果保持A点的位置不变，B点朝原方向远离坐标轴原点，那么这个时候余弦相似度cosθ是保持不变的，因为夹角不变，而A、B两点的距离显然在发生改变，这就是欧氏距离和余弦相似度的不同之处。
根据欧氏距离和余弦相似度各自的计算方式和衡量特征，分别适用于不同的数据分析模型：欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析，如使用用户行为指标分析用户价值的相似度或差异；而余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正了用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感）。
3.2 词汇相似性
目前我接触的常见词汇相似性的方法有：
a. 传统图情领域：基于共现频次这一基本统计量衍生出来的，如association strength、inclusion index、Jaccard’s coefficient、Salton’s cosine（Ochiia系数）等；
b. 计算机领域：一是基于语义词典的方法，即依据词典分类体系挖掘所包含的词义知识，常用的词典包括Wordnet、Hownet等；二是基于语料库的方法，这里的语料库较为多元，例如网络预料、唐诗宋词预料等；；三是进行词向量化，如Word2vec。
4. 文本分类/聚类算法
有了文本表示方法，又有了计算相似性的公式，下一步就可以在此基础上讨论文本分类/聚类的算法了。
4.1 文本分类
医生对病人进行诊断就是一个典型的分类过程，任何一个医生都无法直接看到病人的病情，只能观察病人表现出的症状和各种化验检测数据来推断病情，这时医生就好比一个分类器，而这个医生诊断的准确率，与他当初受到的教育方式（构造方法）、病人的症状是否突出（待分类数据的特性）以及医生的经验多少（训练样本数量）都有密切关系。
分类器是对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。举个例子：假如你想区分小明是好学生还是坏学生，那么区分“好学生”和“坏学生”就是一个分类任务。
4.1.1 K最邻近
“别和其他坏学生在一起，否则你也会和他们一样。” —— 家长
主要思想是通过离待预测样本最近的K个样本的类别来判断当前样本的类别。从K最近邻算法的角度来看，就是让目标样本与其他正样本距离更近、与其他负样本距离更远，从而使得其近邻中的正样本比例更高，更大概率被判断成正样本。
4.1.2 朴素贝叶斯
“根据以往抓获的情况来看，十个坏学生有九个爱打架。” —— 教导主任
“十个坏学生有九个爱打架”就意味着“坏学生”打架的概率P(打架|坏学生)=0.9，假设根据训导处历史记录坏学生占学生总数P(坏学生)=0.1、打架发生的概率是P(打架)=0.09，那么这时如果发生打架事件，就可以通过贝叶斯公式判断出当事学生是“坏学生”的概率P(坏学生|打架)=P(打架|坏学生)×P(坏学生)÷P(打架)=1.0，即该学生100%是“坏学生”。
4.1.3 决策树
“先看抽不抽烟，再看染不染头发，最后看讲不讲脏话。” ——社区大妈
假设“抽烟”、“染发”和“讲脏话”是社区大妈认为的区分“好坏”学生的三项关键特征，那么这样一个有先后次序的判断逻辑就构成一个决策树模型。在决策树中，最能区分类别的特征将作为最先判断的条件，然后依次向下判断各个次优特征。决策树的核心就在于如何选取每个节点的最优判断条件，也即特征选择的过程。
而在每一个判断节点，决策树都会遵循一套IF-THEN的规则：
IF “抽烟” THEN -> “坏学生” ELSE IF “染发” THEN -> “坏学生” ELSE IF “讲脏话” THEN -> “坏学生” ELSE -> “好学生”
4.1.4 逻辑回归
“上课讲话扣1分，不交作业扣2分，比赛得奖加5分。” ——纪律委员
我们称逻辑回归为一种线性分类器，其特征就在于自变量x和因变量y之间存在类似y=ax+b的一阶的、线性的关系。假设“上课讲话”、“不交作业”和“比赛得奖”的次数分别表示为x1、x2、和x3，且每个学生的基础分为0，那么最终得分y=-1 x1-2 x2+5*x3+0。其中-1、-2和5分别就对应于每种行为在“表现好”这一类别下的权重。
对于最终得分y，逻辑回归还通过Sigmoid函数将其变换到0-1之间，其含义可以认为是当前样本属于正样本的概率，即得分y越高，属于“表现好”的概率就越大。也就是说，假如纪律委员记录了某位同学分别“上课讲话”、“不交作业”和“比赛得奖”各一次，那么最终得分y=-2-1+5=2，而对2进行Sigmoid变换后约等于0.88，即可知该同学有88%的概率为“好学生”。
4.1.5 支持向量机
“我想个办法把表现差的学生都调到最后一排。” ——班主任
支持向量机致力于在正负样本的边界上找到一条分割界线（超平面），使得它能完全区分两类样本的同时，保证划分出的间隔尽量的大。如果一条分割界线无法完全区分（线性不可分），要么加上松弛变量进行适当的容忍，要么通过核函数对样本进行空间上的映射后再进行划分。对于班主任来讲，调换学生们的座位就相当于使用了核函数，让原本散落在教室里的“好”、“坏”学生从线性不可分变得线性可分了。
4.2 文本聚类
4.2.1 基于分层的聚类
hierarchical methods： 对数据集进行逐层分解，直到满足某种条件为止。可分为“自底向上”和“自顶向下”两种。例如“自底向上”指初始时每个数据点组成一个单独的组，在接下来的迭代中，按一定的距离度量将相互邻近的组合并成一个组，直至所有的记录组成一个分组或者满足某个条件为止。代表算法有：BIRCH，CURE，CHAMELEON等。自底向上的凝聚层次聚类如下图所示。
4.2.2 基于划分的聚类
partitioning methods： 给定包含N个点的数据集，划分法将构造K个分组，每个分组代表一个聚类，这里每个分组至少包含一个数据点，每个数据点属于且仅属于一个分组。对于给定的K值，算法先给出一个初始的分组方法，然后通过反复迭代的方法改变分组，使得每一次改进之后的分组方案较前一次好，这里好的标准在于同一组中的点越近越好，不同组中的点越远越好。代表算法有：K-means，K-medoids，CLARANS。K-means聚类过程图解如下：
4.2.3 基于密度的聚类
density-based methods： 基于密度的方法的特点是不依赖于距离，而是依赖于密度，从而克服基于距离的算法只能发现“球形”聚簇的缺点。其核心思想在于只要一个区域中点的密度大于某个阈值，就把它加到与之相近的聚类中去。代表算法有：DBSCAN，OPTICS，DENCLUE，WaveCluster。DBSCAN的聚簇生成过程的简单理解如下图。
4.2.3 基于网格的聚类
gird-based methods： 这种方法通常将数据空间划分成有限个单元的网格结构，所有的处理都是以单个的单元为对象。这样做起来处理速度很快，因为这与数据点的个数无关，而只与单元个数有关。代表算法有：STING，CLIQUE，WaveCluster。基于Clique的聚类过程可直观如下图进行理解。
4.2.4 基于模型的聚类
model-based methods： 基于模型的方法给每一个聚类假定一个模型，然后去寻找能很好的拟合模型的数据集。模型可能是数据点在空间中的密度分布函数或者其它。这样的方法通常包含的潜在假设是：数据集是由一系列的潜在概率分布生成的。通常有两种尝试思路：统计学方法和神经网络方法。其中，统计学方法有COBWEB算法、GMM(Gaussian Mixture Model)，神经网络算法有SOM(Self Organized Maps)算法。下图是GMM过程的一个简单直观地理解。
4.2.5 基于图论的聚类
图论聚类方法解决的第一步是建立与问题相适应的图，图的节点对应于被分析数据的最小单元，图的边（或弧）对应于最小处理单元数据之间的相似性度量。因此，每一个最小处理单元数据之间都会有一个度量表达，这就确保了数据的局部特性比较易于处理。图论聚类法是以样本数据的局域连接特征作为聚类的主要信息源，因而其主要优点是易于处理局部数据的特性。典型算法有谱聚类。
聚类问题的研究不仅仅局限于上述的硬聚类，即每一个数据只能被归为一类，模糊聚类也是聚类分析中研究较为广泛的一个分支。模糊聚类通过隶属函数来确定每个数据隶属于各个簇的程度，而不是将一个数据对象硬性地归类到某一簇中。目前已有很多关于模糊聚类的算法被提出，如着名的FCM算法等。
⑵ 聚类分析方法应用于哪些问题的研究
1.聚类分析的特点
聚类分析（cluster analysis）是根据事物本身的特性研究个体的一种方法,目的在于将相似的事物归类.它的原则是同一类中的个体有较大的相似性,不同类的个体差异性很大.这种方法有三个特征：适用于没有先验知识的分类.如果没有这些事先的经验或一些国际、国内、行业标准,分类便会显得随意和主观.这时只要设定比较完善的分类变量,就可以通过聚类分析法得到较为科学合理的类别；可以处理多个变量决定的分类.例如,要根据消费者购买量的大小进行分类比较容易,但如果在进行数据挖掘时,要求根据消费者的购买量、家庭收入、家庭支出、年龄等多个指标进行分类通常比较复杂,而聚类分析法可以解决这类问题；聚类分析法是一种探索性分析方法,能够分析事物的内在特点和规律,并根据相似性原则对事物进行分组,是数据挖掘中常用的一种技术.
这种较成熟的统计学方法如果在市场分析中得到恰当的应用,必将改善市场营销的效果,为企业决策提供有益的参考.其应用的步骤为：将市场分析中的问题转化为聚类分析可以解决的问题,利用相关软件（如SPSS、SAS等）求得结果,由专家解读结果,并转换为实际操作措施,从而提高企业利润,降低企业成本.
2.应用范围
聚类分析在客户细分中的应用
消费同一种类的商品或服务时,不同的客户有不同的消费特点,通过研究这些特点,企业可以制定出不同的营销组合,从而获取最大的消费者剩余,这就是客户细分的主要目的.常用的客户分类方法主要有三类：经验描述法,由决策者根据经验对客户进行类别划分；传统统计法,根据客户属性特征的简单统计来划分客户类别；非传统统计方法,即基于人工智能技术的非数值方法.聚类分析法兼有后两类方法的特点,能够有效完成客户细分的过程.
例如,客户的购买动机一般由需要、认知、学习等内因和文化、社会、家庭、小群体、参考群体等外因共同决定.要按购买动机的不同来划分客户时,可以把前述因素作为分析变量,并将所有目标客户每一个分析变量的指标值量化出来,再运用聚类分析法进行分类.在指标值量化时如果遇到一些定性的指标值,可以用一些定性数据定量化的方法加以转化,如模糊评价法等.除此之外,可以将客户满意度水平和重复购买机会大小作为属性进行分类；还可以在区分客户之间差异性的问题上纳入一套新的分类法,将客户的差异性变量划分为五类：产品利益、客户之间的相互作用力、选择障碍、议价能力和收益率,依据这些分析变量聚类得到的归类,可以为企业制定营销决策提供有益参考.
以上分析的共同点在于都是依据多个变量进行分类,这正好符合聚类分析法解决问题的特点；不同点在于从不同的角度寻求分析变量,为某一方面的决策提供参考,这正是聚类分析法在客户细分问题中运用范围广的体现.
聚类分析在实验市场选择中的应用
实验调查法是市场调查中一种有效的一手资料收集方法,主要用于市场销售实验,即所谓的市场测试.通过小规模的实验性改变,以观察客户对产品或服务的反应,从而分析该改变是否值得在大范围内推广.
实验调查法最常用的领域有：市场饱和度测试.市场饱和度反映市场的潜在购买力,是市场营销战略和策略决策的重要参考指标.企业通常通过将消费者购买产品或服务的各种决定因素（如价格等）降到最低限度的方法来测试市场饱和度.或者在出现滞销时,企业投放类似的新产品或服务到特定的市场,以测试市场是否真正达到饱和,是否具有潜在的购买力.前述两种措施由于利益和风险的原因,不可能在企业覆盖的所有市场中实施,只能选择合适的实验市场和对照市场加以测试,得到近似的市场饱和度；产品的价格实验.这种实验往往将新定价的产品投放市场,对顾客的态度和反应进行测试,了解顾客对这种价格的是否接受或接受程度；新产品上市实验.波士顿矩阵研究的企业产品生命周期图表明,企业为了生存和发展往往要不断开发新产品,并使之向明星产品和金牛产品顺利过渡.然而新产品投放市场后的失败率却很高,大致为66%到90%.因而为了降低新产品的失败率,在产品大规模上市前,运用实验调查法对新产品的各方面（外观设计、性能、广告和推广营销组合等）进行实验是非常有必要的.
在实验调查方法中,最常用的是前后单组对比实验、对照组对比实验和前后对照组对比实验.这些方法要求科学的选择实验和非实验单位,即随机选择出的实验单位和非实验单位之间必须具备一定的可比性,两类单位的主客观条件应基本相同.
通过聚类分析,可将待选的实验市场（商场、居民区、城市等）分成同质的几类小组,在同一组内选择实验单位和非实验单位,这样便保证了这两个单位之间具有了一定的可比性.聚类时,商店的规模、类型、设备状况、所处的地段、管理水平等就是聚类的分析变量
⑶ 多元统计学-聚类分析
1. 应用统计学与R语言实现学习笔记（十）——聚类分析 )
2. 厦门大学-多元统计分析
3. DBSCAN 密度聚类法
4. 四大聚类算法（KNN、Kmeans、密度聚类、层次聚类）
俗话说，物以类聚，人以群分。聚类在日常生活中，非常常见.
就是将相似的物体，放在一起.
聚类的目的 ——根据已知数据（ 一批观察个体的许多观测指标） ， 按照一定的数学公式计算各观察个体或变量（指标）之间亲疏关系的统计量（距离或相关系数等）。 根据某种准则（ 最短距离法、最长距离法、中间距离法、重心法等），使同一类内的差别较小，而类与类之间的差别较大，最终将观察个体或变量分为若干类。
根据分类的对象可将聚类分析分为：
样品间亲疏程度的测度
研究样品或变量的亲疏程度的数量指标有两种，一种叫相似系数，性质越接近的变量或样品，它们的相似系数越接近于1，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；另一种叫距离，它是将每一个样品看作p维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点属于不同的类。
变量之间的聚类即R型聚类分析，常用相似系数来测度变量之间的亲疏程度。
而样品之间的聚类即Q型聚类分析，则常用距离来测度样品之间的亲疏程度。
距离
假使每个样品有p个变量，则每个样品都可以看成p维空间中的一个点， n个样品就是p维空间中的n个点，则第i样品与第j样品之间的距离可以进行计算。
几种常用方式度量：
欧式距离 L2（Euclidean distance）--- 常用
马氏距离（Mahalanobis distance）---协方差矩阵
Minkowski测度（ Minkowski metric）
Canberra测度（Canberra metric）
有了距离衡量度量，我们可以计算两两的距离，就得到距离矩阵~
比如：下面用dist 计算距离的方法
定义了距离之后，怎样找到"合理"的规则，使相似的/距离小的个体聚成一个族群？
考虑所有的群组组合显然在计算上很难实现，所以一种常用的聚类方法为层次聚类/系统聚类（hierarchical
clustering）
从系统树图中可以看出，我们需要度量族群与族群之间的距离，不同的定义方法决定了不同的聚类结果：
计算族群距离的三种方法的比较：
（可以看到都是小小的族群合并在一起，因为让方差增加最小，倾向与合并小群体）
一般情况，我们得到系统树，需要对树进行切割. 如下图一条条竖线.
层次聚类族群数的选择：
1、建立n个初始族群，每个族群中只有一个个体
2、计算n个族群间的距离矩阵
3、合并距离最小的两个族群
4、计算新族群间的距离矩阵。如果组别数为1，转步骤5；否则转步骤3
5、绘制系统树图
6、选择族群个数
在层次聚类中，一旦个体被分入一个族群，它将不可再被归入另一个族群,故现在介绍一个“非层次”的聚类方法——分割法（Partition）。最常用的分割法是k-均值（k-Means）法
k-均值法试图寻找 个族群 的划分方式，使得划分后的族群内方差和（within-group sum of squares，WGSS）最小.
思路也是将相近的样本,聚在一起，使得组内方差小，组间方差大.
① 选定 个“种子”（Cluster seeds）作为初始族群代表
② 每个个体归入距离其最近的种子所在的族群
③ 归类完成后，将新产生的族群的质心定为新的种子
④ 重复步骤2和3，直到不再需要移动
⑤ 选择不同的k 值，计算WGSS,找到拐点确定最合适的K.
有多种初始种子的选取方法可供选择：
1、在相互间隔超过某指定最小距离的前提下，随机选择k个个体
2、选择数据集前k个相互间隔超过某指定最小距离的个体
3、选择k个相互距离最远的个体
4、选择k个等距网格点（Grid points），这些点可能不是数据集的点
可以想到，左侧的点收敛更快得到全局最优；左侧可能聚类效果一般，或者收敛非常慢，得到局部最优.
我们的目标是使得WGSS足够小，是否应该选取k使得WGSS最小？
我们需要选择一个使得WGSS足够小（但不是最小）的k值.（PS: 族群内方差和最小时候，k=n,此时WGSS为0，此时是过拟合问题~）
当我们分部计算k=1,2,3,4,5... 时候，WGSS值，就可以绘制下面碎石图。及WGSS 随着k 变化过程。k 越大，WGSS越小.
⑷ 一文总结聚类分析步骤！
一、聚类
1.准备工作
（1） 研究目的
聚类分析是根据事物本身的特性研究个体分类的方法，聚类分析的原则是同一类别的个体有较大相似性，不同类别的个体差异比较大。
（2） 数据类型
1）定量：数字有比较意义，比如数字越大代表满意度越高，量表为典型定量数据。
2）定类：数字无比较意义，比如性别，1代表男，2代表女。
PS： SPSSAU会根据数据类型自动选择聚类方法。
K-modes聚类： 数据类型仅定类时。
2.上传数据到SPSSAU
登录账号后进入SPSSAU页面，点击右上角“上传数据”，将处理好的数据进行“点击上传文件”上传即可。
3.SPSSAU操作
（1）拖拽分析项
1） SPSSAU进阶方法→聚类。
2）检查
检查分析项是否都在左侧分析框中。
3）进行拖拽
（2）选择参数
聚类个数： 聚类个数设置为几类主要以研究者的研究思路为标准，如果不进行设置，SPSSAU默认聚类个数为3，通常情况下，建议设置聚类数量介于3~6个之间。
标准化： 聚类算法是根据距离进行判断类别，因此一般需要在聚类之前进行标准化处理，SPSSAU默认是选中进行标准化处理。数据标准化之后，数据的相对大小意义还在（比如数字越大GDP越高），但是实际意义消失了。
保存类别： 分析选择保存‘保存类别’，SPSSAU会生成 新标题 用于标识，也可以右上角“我的数据”处查看到分析后的“聚类类别”。
新标题类似如下：Cluster_********。
4.SPSSAU分析
（1）聚类类别基本情况汇总分析
使用聚类分析对样本进行分类，使用Kmeans聚类分析方法，从上表可以看出：最终聚类得到4类群体，此4类群体的占比分别是20.00%, 30.00%, 20.00%, 30.00%。整体来看， 4类人群分布较为均匀，整体说明聚类效果较好。
（2）聚类类别汇总图分析
上图可以直观的看到各个类别所占百分比，4类群体的占比分别是20.00%, 30.00%, 20.00%, 30.00%。
（3）聚类类别方差分析差异对比
使用方差分析去探索各个类别的差异特征，从上表可知：聚类类别群体对于所有研究项均呈现出显着性(p<0.05),意味着聚类分析得到的4类群体，他们在研究项上的特征具有明显的差异性，具体差异性可通过平均值进行对比，并且最终结合实际情况，对聚类类别进行命名处理。
（4）聚类项重要性对比
从上述结果看，所有研究项均呈现出显着性，说明不同类别之间的特征有明显的区别，聚类的效果较好。
（5）聚类中心
5.其它说明
（1）聚类中心是什么？
聚类中心是聚类类别的中心点情况，比如某类别时年龄对应的聚类中心为20，意味着该类别群体年龄基本在20岁左右。初始聚类中心基本无意义，它是聚类算法随机选择的聚类点，如果需要查看聚类中心情况，需要关注于最终聚类中心。实际分析时聚类中心的意义相对较小，其仅为聚类算法的计算值而已。
（2）k-prototype聚类是什么？
如果说聚类项中包括定类项，那么SPSSAU默认会进行K-prototype聚类算法（而不是kmeans算法）。定类数据不能通过数字大小直接分析距离，因而需要使用K-prototype聚类算法。
（3）聚类分析时SSE是什么意思？
在进行Kmeans聚类分析时SPSSAU默认输出误差平方和SSE值，该值可用于测量各点与中心点的距离情况，理论上是希望越小越好，而且如果同样的数据，聚类类别越多则SSE值会越小（但聚类类别过多则不便于分析）。
SSE指标可用于辅助判断聚类类别个数，建议在不同聚类类别数量情况下记录下SSE值，然后分析SSE值的减少幅度情况，如果发现比如从3个聚类到4个类别时SSE值减少幅度明显很大，那么此时选择4个聚类类别较好。
二、分层聚类
1.准备工作
（1）研究目的
从分析角度上看，聚类分析可分为两种，一种是按样本（或个案）聚类，此类聚类的代表是K-means聚类方法；另外一种是按变量（或标题）聚类，此类聚类的代表是分层聚类。
（2）数据类型
2.上传数据到SPSSAU
登录账号后进入SPSSAU页面，点击右上角“上传数据”，将处理好的数据进行“点击上传文件”上传即可。
3.SPSSAU操作
（1）拖拽分析项
1） SPSSAU进阶方法→分层聚类。
2）检查
检查分析项是否都在左侧分析框中。
3）进行拖拽
（2）确定参数
SPSSAU会默认聚类为3类并且呈现表格结果，如果希望更多的类别个数，可自行进行设置。
4.SPSSAU分析
（1）聚类项描述分析
上表格展示总共8个分析项（即8个裁判数据）的基本情况，包括均值，最大或者最小值，中位数等，以便对于基础数据有个概括性了解。整体上看，8个裁判的打分基本平均在8分以上。
（2）聚类类别分布表分析
总共聚类为3个类别，以及具体分析项的对应关系情况。在上表格中展示出来，上表格可以看出：裁判8单独作为一类；裁判5，3，7这三个聚为一类；以及裁判1，6，2，4作为一类。
（PS：聚类类别与分析项上的对应关系可以在上表格中得到，同时也可以查看聚类树状图得出更多信息。至于聚类类别分别应该叫做什么名字，这个需要结合对应有关系情况，自己单独进行命名。）
（3）聚类树状图分析
上图为聚类树状图的展示，聚类树状图是将聚类的具体过程用图示法手法进行展示；最上面一行的数字仅仅是一个刻度单位，代表相对距离大小；一个结点表示一次聚焦过程。
树状图的解读上，建议单独画一条垂直线，然后对应查看分成几个类别，以及每个类别与分析项的对应关系。比如上图中，红色垂直线最终会拆分成3个类别；第1个类别对应裁判8；第2个类别对应裁判5，3，7；第3个类别对应裁判1，6，2，4。
如果是聚为四类；从上图可看出，明显的已经不再合适。原因在于垂直线不好区分成四类。也即说明有2个类别本应该在一起更合适（上图中的裁判1与6/2/4）；但是如果分成4类，此时裁判1会单独成一类。所以画垂直线无法区分出类别。因而综合分析来看，最终聚类为3个类别最为适合。
当然在分析时也可以考虑分成2个类别，此时只需要对应将垂直线移动即可。
5.其它说明
（1）针对分层聚类，需要注意以下几点：
（2）什么时候做因子分析后再做聚类分析？
如果题项较多，可先做因子分析，得到每个维度（因子）的数据，再进行聚类。
三、总结
聚类分析广泛的应用于自然科学、社会科学等领域。在分析时可以比较多次聚类结果，综合选择更适合的方案。
以上就是聚类分析步骤汇总，更多干货请前往官网查看！
⑸ 关于聚类分析
1。聚类分析的特点
聚类分析（cluster analysis）是根据事物本身的特性研究个体的一种方法，目的在于将相似的事物归类。它的原则是同一类中的个体有较大的相似性，不同类的个体差异性很大。这种方法有三个特征：适用于没有先验知识的分类。如果没有这些事先的经验或一些国际、国内、行业标准，分类便会显得随意和主观。这时只要设定比较完善的分类变量，就可以通过聚类分析法得到较为科学合理的类别；可以处理多个变量决定的分类。例如，要根据消费者购买量的大小进行分类比较容易，但如果在进行数据挖掘时，要求根据消费者的购买量、家庭收入、家庭支出、年龄等多个指标进行分类通常比较复杂，而聚类分析法可以解决这类问题；聚类分析法是一种探索性分析方法，能够分析事物的内在特点和规律，并根据相似性原则对事物进行分组，是数据挖掘中常用的一种技术。
这种较成熟的统计学方法如果在市场分析中得到恰当的应用，必将改善市场营销的效果，为企业决策提供有益的参考。其应用的步骤为：将市场分析中的问题转化为聚类分析可以解决的问题，利用相关软件（如SPSS、SAS等）求得结果，由专家解读结果，并转换为实际操作措施，从而提高企业利润，降低企业成本。
2.应用范围
聚类分析在客户细分中的应用
消费同一种类的商品或服务时，不同的客户有不同的消费特点，通过研究这些特点，企业可以制定出不同的营销组合，从而获取最大的消费者剩余，这就是客户细分的主要目的。常用的客户分类方法主要有三类：经验描述法，由决策者根据经验对客户进行类别划分；传统统计法，根据客户属性特征的简单统计来划分客户类别；非传统统计方法，即基于人工智能技术的非数值方法。聚类分析法兼有后两类方法的特点，能够有效完成客户细分的过程。
例如，客户的购买动机一般由需要、认知、学习等内因和文化、社会、家庭、小群体、参考群体等外因共同决定。要按购买动机的不同来划分客户时，可以把前述因素作为分析变量，并将所有目标客户每一个分析变量的指标值量化出来，再运用聚类分析法进行分类。在指标值量化时如果遇到一些定性的指标值，可以用一些定性数据定量化的方法加以转化，如模糊评价法等。除此之外，可以将客户满意度水平和重复购买机会大小作为属性进行分类；还可以在区分客户之间差异性的问题上纳入一套新的分类法，将客户的差异性变量划分为五类：产品利益、客户之间的相互作用力、选择障碍、议价能力和收益率，依据这些分析变量聚类得到的归类，可以为企业制定营销决策提供有益参考。
以上分析的共同点在于都是依据多个变量进行分类，这正好符合聚类分析法解决问题的特点；不同点在于从不同的角度寻求分析变量，为某一方面的决策提供参考，这正是聚类分析法在客户细分问题中运用范围广的体现。
聚类分析在实验市场选择中的应用
实验调查法是市场调查中一种有效的一手资料收集方法，主要用于市场销售实验，即所谓的市场测试。通过小规模的实验性改变，以观察客户对产品或服务的反应，从而分析该改变是否值得在大范围内推广。
实验调查法最常用的领域有：市场饱和度测试。市场饱和度反映市场的潜在购买力，是市场营销战略和策略决策的重要参考指标。企业通常通过将消费者购买产品或服务的各种决定因素（如价格等）降到最低限度的方法来测试市场饱和度。或者在出现滞销时，企业投放类似的新产品或服务到特定的市场，以测试市场是否真正达到饱和，是否具有潜在的购买力。前述两种措施由于利益和风险的原因，不可能在企业覆盖的所有市场中实施，只能选择合适的实验市场和对照市场加以测试，得到近似的市场饱和度；产品的价格实验。这种实验往往将新定价的产品投放市场，对顾客的态度和反应进行测试，了解顾客对这种价格的是否接受或接受程度；新产品上市实验。波士顿矩阵研究的企业产品生命周期图表明，企业为了生存和发展往往要不断开发新产品，并使之向明星产品和金牛产品顺利过渡。然而新产品投放市场后的失败率却很高，大致为66%到90%。因而为了降低新产品的失败率，在产品大规模上市前，运用实验调查法对新产品的各方面（外观设计、性能、广告和推广营销组合等）进行实验是非常有必要的。
在实验调查方法中，最常用的是前后单组对比实验、对照组对比实验和前后对照组对比实验。这些方法要求科学的选择实验和非实验单位，即随机选择出的实验单位和非实验单位之间必须具备一定的可比性，两类单位的主客观条件应基本相同。
通过聚类分析，可将待选的实验市场（商场、居民区、城市等）分成同质的几类小组，在同一组内选择实验单位和非实验单位，这样便保证了这两个单位之间具有了一定的可比性。聚类时，商店的规模、类型、设备状况、所处的地段、管理水平等就是聚类的分析变量。 转
⑹ 四种聚类方法之比较
四种聚类方法之比较
介绍了较为常见的k-means、层次聚类、SOM、FCM等四种聚类算法，阐述了各自的原理和使用步骤，利用国际通用测试数据集IRIS对这些算法进行了验证和比较。结果显示对该测试类型数据，FCM和k-means都具有较高的准确度，层次聚类准确度最差，而SOM则耗时最长。
关键词:聚类算法；k-means；层次聚类；SOM；FCM
聚类分析是一种重要的人类行为，早在孩提时代，一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。目前在许多领域都得到了广泛的研究和成功的应用，如用于模式识别、数据分析、图像处理、市场研究、客户分割、Web文档分类等[1]。
聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。
聚类技术[2]正在蓬勃发展，对此有贡献的研究领域包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等。各种聚类方法也被不断提出和改进，而不同的方法适合于不同类型的数据，因此对各种聚类方法、聚类效果的比较成为值得研究的课题。
1 聚类算法的分类
目前，有大量的聚类算法[3]。而对于具体应用，聚类算法的选择取决于数据的类型、聚类的目的。如果聚类分析被用作描述或探查的工具，可以对同样的数据尝试多种算法，以发现数据可能揭示的结果。
主要的聚类算法可以划分为如下几类：划分方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法[4-6]。
每一类中都存在着得到广泛应用的算法，例如：划分方法中的k-means[7]聚类算法、层次方法中的凝聚型层次聚类算法[8]、基于模型方法中的神经网络[9]聚类算法等。
目前,聚类问题的研究不仅仅局限于上述的硬聚类，即每一个数据只能被归为一类，模糊聚类[10]也是聚类分析中研究较为广泛的一个分支。模糊聚类通过隶属函数来确定每个数据隶属于各个簇的程度，而不是将一个数据对象硬性地归类到某一簇中。目前已有很多关于模糊聚类的算法被提出，如着名的FCM算法等。
本文主要对k-means聚类算法、凝聚型层次聚类算法、神经网络聚类算法之SOM,以及模糊聚类的FCM算法通过通用测试数据集进行聚类效果的比较和分析。
2 四种常用聚类算法研究
2.1 k-means聚类算法
k-means是划分方法中较经典的聚类算法之一。由于该算法的效率高，所以在对大规模数据进行聚类时被广泛应用。目前，许多算法均围绕着该算法进行扩展和改进。
k-means算法以k为参数，把n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。k-means算法的处理过程如下：首先，随机地选择k个对象，每个对象初始地代表了一个簇的平均值或中心;对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇;然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收敛。通常，采用平方误差准则，其定义如下：
这里E是数据库中所有对象的平方误差的总和，p是空间中的点，mi是簇Ci的平均值[9]。该目标函数使生成的簇尽可能紧凑独立，使用的距离度量是欧几里得距离,当然也可以用其他距离度量。k-means聚类算法的算法流程如下：
输入：包含n个对象的数据库和簇的数目k；
输出：k个簇，使平方误差准则最小。
步骤：
(1) 任意选择k个对象作为初始的簇中心；
(2) repeat；
(3) 根据簇中对象的平均值，将每个对象(重新)赋予最类似的簇；
(4) 更新簇的平均值，即计算每个簇中对象的平均值；
(5) until不再发生变化。
2.2 层次聚类算法
根据层次分解的顺序是自底向上的还是自上向下的，层次聚类算法分为凝聚的层次聚类算法和分裂的层次聚类算法。
凝聚型层次聚类的策略是先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。绝大多数层次聚类属于凝聚型层次聚类，它们只是在簇间相似度的定义上有所不同。四种广泛采用的簇间距离度量方法如下：
这里给出采用最小距离的凝聚层次聚类算法流程：
(1) 将每个对象看作一类，计算两两之间的最小距离；
(2) 将距离最小的两个类合并成一个新类；
(3) 重新计算新类与所有类之间的距离；
(4) 重复(2)、(3)，直到所有类最后合并成一类。
2.3 SOM聚类算法
SOM神经网络[11]是由芬兰神经网络专家Kohonen教授提出的，该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质,与实际的大脑处理有很强的理论联系。
SOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与输出节点通过权重向量连接。学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。
算法流程：
(1) 网络初始化，对输出层每个节点权重赋初值；
(2) 将输入样本中随机选取输入向量，找到与输入向量距离最小的权重向量；
(3) 定义获胜单元，在获胜单元的邻近区域调整权重使其向输入向量靠拢；
(4) 提供新样本、进行训练；
(5) 收缩邻域半径、减小学习率、重复，直到小于允许值，输出聚类结果。
2.4 FCM聚类算法
1965年美国加州大学柏克莱分校的扎德教授第一次提出了‘集合’的概念。经过十多年的发展，模糊集合理论渐渐被应用到各个实际应用方面。为克服非此即彼的分类缺点，出现了以模糊集合论为数学基础的聚类分析。用模糊数学的方法进行聚类分析，就是模糊聚类分析[12]。
FCM算法是一种以隶属度来确定每个数据点属于某个聚类程度的算法。该聚类算法是传统硬聚类算法的一种改进。
算法流程：
(1) 标准化数据矩阵；
(2) 建立模糊相似矩阵，初始化隶属矩阵；
(3) 算法开始迭代，直到目标函数收敛到极小值；
(4) 根据迭代结果，由最后的隶属矩阵确定数据所属的类，显示最后的聚类结果。
3 四种聚类算法试验
3.1 试验数据
实验中，选取专门用于测试分类、聚类算法的国际通用的UCI数据库中的IRIS[13]数据集，IRIS数据集包含150个样本数据，分别取自三种不同的莺尾属植物setosa、versicolor和virginica的花朵样本,每个数据含有4个属性，即萼片长度、萼片宽度、花瓣长度，单位为cm。在数据集上执行不同的聚类算法，可以得到不同精度的聚类结果。
3.2 试验结果说明
文中基于前面所述各算法原理及算法流程，用matlab进行编程运算，得到表1所示聚类结果。
如表1所示，对于四种聚类算法，按三方面进行比较：(1)聚错样本数：总的聚错的样本数，即各类中聚错的样本数的和；(2)运行时间：即聚类整个过程所耗费的时间，单位为s；(3)平均准确度：设原数据集有k个类,用ci表示第i类，ni为ci中样本的个数，mi为聚类正确的个数,则mi/ni为第i类中的精度，则平均精度为：
3.3 试验结果分析
四种聚类算法中，在运行时间及准确度方面综合考虑，k-means和FCM相对优于其他。但是，各个算法还是存在固定缺点：k-means聚类算法的初始点选择不稳定，是随机选取的，这就引起聚类结果的不稳定，本实验中虽是经过多次实验取的平均值，但是具体初始点的选择方法还需进一步研究；层次聚类虽然不需要确定分类数，但是一旦一个分裂或者合并被执行，就不能修正，聚类质量受限制；FCM对初始聚类中心敏感，需要人为确定聚类数，容易陷入局部最优解；SOM与实际大脑处理有很强的理论联系。但是处理时间较长，需要进一步研究使其适应大型数据库。
聚类分析因其在许多领域的成功应用而展现出诱人的应用前景，除经典聚类算法外，各种新的聚类方法正被不断被提出。
⑺ 聚类分析是什么研究手段
类通过把目标数据放入少数相对同源的组或“类”（cluster）里。分析表达数据，（1）通过一系列的检测将待测的一组基因的变异标准化，然后成对比较线性协方差。（2）通过把用最紧密关联的谱来放基因进行样本聚类，例如用简单的层级聚类（hierarchical clustering）方法。这种聚类亦可扩展到每个实验样本，利用一组基因总的线性相关进行聚类。（3）多维等级分析（multidimensional scaling analysis,MDS）是一种在二维Euclidean “距离”中显示实验样本相关的大约程度。（4）K-means方法聚类，通过重复再分配类成员来使“类”内分散度最小化的方法。
聚类方法有两个显着的局限：首先，要聚类结果要明确就需分离度很好（well-separated）的数据。几乎所有现存的算法都是从互相区别的不重叠的类数据中产生同样的聚类。但是，如果类是扩散且互相渗透，那么每种算法的的结果将有点不同。结果，每种算法界定的边界不清，每种聚类算法得到各自的最适结果，每个数据部分将产生单一的信息。为解释因不同算法使同样数据产生不同结果，必须注意判断不同的方式。对遗传学家来说，正确解释来自任一算法的聚类内容的实际结果是困难的（特别是边界）。最终，将需要经验可信度通过序列比较来指导聚类解释。
第二个局限由线性相关产生。上述的所有聚类方法分析的仅是简单的一对一的关系。因为只是成对的线性比较，大大减少发现表达类型关系的计算量，但忽视了生物系统多因素和非线性的特点。
从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多着名的统计分析软件包中，如SPSS、SAS等。
从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。
从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。就数据挖掘功能而言，聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。
⑻ 聚类分析法
聚类分析，亦称群分析或点分析，是研究多要素事物分类问题的数量方法。其基本原理是，根据样本自身的属性，用数学方法按照某些相似性或差异性指标，定量地确定样本之间的亲疏关系，并按亲疏关系的程度对样本进行聚类（徐建华，1994）。
聚类分析方法，应用在地下水中，是在各种指标和质量级别标准约束条件下，通过样品的各项指标监测值综合聚类，以判别地下水质量的级别。常见的聚类分析方法有系统聚类法、模糊聚类法和灰色聚类法等。
（一）系统聚类法
系统聚类法的主要步骤有：数据标准化、相似性统计量计算和聚类。
1.数据标准化
在聚类分析中，聚类要素的选择是十分重要的，它直接影响分类结果的准确性和可靠性。在地下水质量研究中，被聚类的对象常常是多个要素构成的。不同要素的数据差异可能很大，这会对分类结果产生影响。因此当分类要素的对象确定之后，在进行聚类分析之前，首先对聚类要素进行数据标准化处理。
假设把所考虑的水质分析点（G）作为聚类对象（有m个），用i表示（i=1，2，…，m）；把影响水质的主要因素作为聚类指标（有n个），用j表示（j=1，2，…，n），它们所对应的要素数据可用表4-3给出。在聚类分析中，聚类要素的数据标准化的方法较多，一般采用标准差法和极差法。
表4-3 聚类对象与要素数据
对于第j个变量进行标准化，就是将xij变换为x′ij。
（1）总和标准化
区域地下水功能可持续性评价理论与方法研究
这种标准化方法所得的新数据x′ij满足
区域地下水功能可持续性评价理论与方法研究
（2）标准差标准化
区域地下水功能可持续性评价理论与方法研究
式中：
由这种标准化方法所得的新数据x′ij，各要素的平均值为0，标准差为1，即有
区域地下水功能可持续性评价理论与方法研究
（3）极差标准化
区域地下水功能可持续性评价理论与方法研究
经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在［0，1］闭区间内。
上述式中：xij为j变量实测值；xj为j变量的样本平均值；sj为样本标准差。
2.相似性统计量
系统聚类法要求给出一个能反映样品间相似程度的一个数字指标，需要找到能量度相似关系的统计量，这是系统聚类法的关键。
相似性统计量一般使用距离系数和相似系数进行计算。距离系数是把样品看成多维空间的点，用点间的距离来表示研究对象的紧密关系，距离越小，表明关系越密切。相似系数值表明样本和变量间的相似程度。
（1）距离系数
常采用欧几里得绝对距离，其中i样品与j样品距离dij为
区域地下水功能可持续性评价理论与方法研究
dij越小，表示i，j样品越相似。
（2）相似系数
常见的相似系数有夹角余弦和相关系数，计算公式为
1）夹角余弦
区域地下水功能可持续性评价理论与方法研究
在式（4-20）中：-1≤cosθij≤1。
2）相关系数
区域地下水功能可持续性评价理论与方法研究
式中：dij为i样品与j样品的欧几里得距离；cosθij为i样品与j样品的相似系数；rij为i样品与j样品的相关系数；xik为i样品第k个因子的实测值或标准化值；xjk为j样品第k个因子的实测值或标准化值；
3.聚类
在选定相似性统计量之后，根据计算结果构成距离或相似性系数矩阵（n×n），然后通过一定的方法把n个样品组合成不同等级的分类单位，对类进行并类，即将最相似的样品归为一组，然后，把次相似的样品归为分类级别较高的组。聚类主要有直接聚类法、距离聚类法（最短距离聚类法、最远距离聚类法）。
（1）直接聚类法
直接聚类法，是根据距离或相似系数矩阵的结构一次并类得到结果，是一种简便的聚类方法。它首先把各个分类对象单独视为一类，然后根据距离最小或相似系数最大的原则，依次选出一对分类对象，并成新类。如果一对分类对象正好属于已归的两类，则把这两类并为一类。每一次归并，都划去该对象所在的列与列序相同的行。经过n-1次把全部分类对象归为一类，最后根据归并的先后顺序作出聚类分析谱系图。
（2）距离聚类法
距离聚类法包括最短距离聚类法和最远距离聚类法。最短距离聚类法具有空间压缩性，而最远距离聚类法具有空间扩张性。这两种聚类方法关于类之间的距离计算可以用一个统一的公式表示：
区域地下水功能可持续性评价理论与方法研究
当γ=-0.5时，式（4-22）计算类之间的距离最短；当γ=0.5时，式（4-22）计算类之间的距离最远。
最短、最远距离法，是在原来的n×n距离矩阵的非对角元素中找出dpq=min（dij）或dpq=max（dij），把分类对象Gp和Gq归并为一新类Gr，然后按计算公式：
dpq=min（dpk，dqk）（k≠ p，q） （4-23）
dpq=max（dpk，dqk）（k≠ p，q） （4-24）
计算原来各类与新类之间的距离，这样就得到一个新的（n-1）阶的距离矩阵；再从新的距离矩阵中选出最小或最大的dij，把Gi和Gj归并成新类；再计算各类与新类的距离，直至各分类对象被归为一类为止。最后综合整个聚类过程，作出最短距离或最远距离聚类谱系图（图4-1）。
图4-1 地下水质量评价的聚类谱系图
（二）模糊聚类法
模糊聚类法是普通聚类方法的一种拓展，它是在聚类方法中引入模糊概念形成的。该方法评价地下水质量的主要步骤，包括数据标准化、标定和聚类3个方面（付雁鹏等，1987）。
1.数据标准化
在进行聚类过程中，由于所研究的各个变量绝对值不一样，所以直接使用原始数据进行计算就会突出绝对值大的变量，而降低绝对值小的变量作用，特别是在进行模糊聚类分析中，模糊运算要求必须将数据压缩在［0，1］之间。因此，模糊聚类计算的首要工作是解决数据标准化问题。数据标准化的方法见系统聚类分析法。
2.标定与聚类
所谓标定就是计算出被分类对象间的相似系数rij，从而确定论域集U上的模糊相似关系Rij。相似系数的求取，与系统聚类分析法相同。
聚类就是在已建立的模糊关系矩阵Rij上，给出不同的置信水平λ（λ∈［0，1］）进行截取，进而得到不同的分类。
聚类方法较多，主要有基于模糊等价关系基础上的聚类与基于最大树的聚类。
（1）模糊等价关系方法
所谓模糊等价关系，是指具有自反性（rii=1）、对称性（rij=rji）与传递性（R·R⊆R）的模糊关系。
基于模糊等价关系的模糊聚类分析方法的基本思想是：由于模糊等价关系R是论域集U与自己的直积U×U上的一个模糊子集，因此可以对R进行分解，当用λ-水平对R作截集时，截得的U×U的普通子集Rλ就是U上的一个普通等价关系，也就是得到了关于U中被分类对象元素的一种。当λ由1下降到0时，所得的分类由细变粗，逐渐归并，从而形成一个动态聚类谱系图（徐建华，1994）。此类分析方法的具体步骤如下。
第一步：模糊相似关系的建立，即计算各分类对象之间相似性统计量。
第二步：将模糊相似关系R改造为模糊等价关系R′。模糊等价关系要求满足自反性、对称性与传递性。一般而言，模糊相似关系满足自反性和对称性，但不满足传递性。因此，需要采用传递闭合的性质将模糊相似关系改造为模糊等价关系。改造的方法是将相似关系R自乘，即
R2=R·R
R4=R2·R2
︙
这样计算下去，直到：R2k=Rk·Rk=Rk，则R′=Rk便是一个模糊等价关系。
第三步：在不同的截集水平下进行聚类。
（2）最大树聚类方法
基于最大树的模糊聚类分析方法的基本思路是：最大树是一个不包含回路的连通图（图4-2）；选取λ水平对树枝进行截取，砍去权重低于λ 的枝，形成几个孤立的子树，每一棵子树就是一个类的集合。此类分析方法的具体步骤如下。
图4-2 最大聚类支撑树图
第一步：计算分类对象之间的模糊相似性统计量rij，构建最大树。
以所有被分类的对象为顶点，当两点间rij不等于0时，两点间可以用树干连接，这种连接是按rij从大到小的顺序依次进行的，从而构成最大树。
第二步：由最大树进行聚类分析。
选择某一λ值作截集，将树中小于λ值的树干砍断，使相连的结点构成一类，即子树，当λ由1到0时，所得到的分类由细变粗，各结点所代表的分类对象逐渐归并，从而形成一个动态聚类谱系图。
在聚类方法中，模糊聚类法比普通聚类法有较大的突破，简化了运算过程，使聚类法更易于掌握。
（三）灰色聚类法
灰色聚类是根据不同聚类指标所拥有的白化数，按几个灰类将聚类对象进行归纳，以判断该聚类对象属于哪一类。
灰色聚类应用于地下水水质评价中，是把所考虑的水质分析点作为聚类对象，用i表示（i=1，2，…，n）；把影响水质的主要因素作为聚类指标，用j表示（j=1，2，…，m），把水质级别作为聚类灰数（灰类），用k表示（k=1，2，3）即一级、二级、三级3个灰类（罗定贵等，1995）。
灰色聚类的主要步骤：确定聚类白化数、确定各灰色白化函数fjk、求标定聚类权重ηjk、求聚类系数和按最大原则确定聚类对象分类。
1.确定聚类白化数
当各灰类白化数在数量上相差悬殊时，为保证各指标间的可比性与等效性，必须进行白化数的无量纲化处理。即给出第i个聚类对象中第j个聚类指标所拥有的白化数，i=1，2，…，n；j=1，2，…，m。
2.确定各灰色白化函数
建立满足各指标、级别区间为最大白化函数值（等于1），偏离此区间愈远，白化函数愈小（趋于0）的功效函数fij（x）。根据监测值Cki，可在图上（图4-3）解析出相应的白化函数值fjk（Cik），j=1，2，…，m；k=1，2，3。
3.求标定聚类权重
根据式（4-25），计算得出聚类权重ηjk的矩阵（n×m）。
区域地下水功能可持续性评价理论与方法研究
式中：ηjk为第j个指标对第k个灰类的权重；λjk为白化函数的阈值（根据标准浓度而定）。
图4-3 白化函数图
注：图4-3白化函数f（x）∈［0，1］，具有下述特点：①平顶部分，表示该量的最佳程度。这部分的值为最佳值，即系数（权）为1，f（x）=max=1（峰值），x∈［x2，x3］。②白化函数是单调变化的，左边部分f（x）=L（x），单调增，x∈（x1，x2］，称为白化的左支函数；右边部分f（x）=R（x），单调减，x∈［x3，x4），称为白化的右支函数。③白化函数左右支函数对称。④白化函数，为了简便，一般是直线。⑤白化函数的起点和终点，一般来说是人为凭经验确定。
4.求聚类系数
σik=∑fjk（dij）ηjk （4-26）
式中：σik为第i个聚类对象属于第k个灰类的系数，i=1，2，…，n；k=1，2，3。
5.按最大原则确定聚类对象分类
由σik构造聚类向量矩阵，行向量最大者，确定k样品属于j级对应的级别。
用灰色聚类方法进行地下水水质评价，能最大限度地避免因人为因素而造成的“失真、失效”现象。
聚类方法计算相对复杂，但是计算结果与地下水质量标准级别对应性明显，能够较全面反映地下水质量状况，也是较高层次定量研究地下水质量的重要方法。