模糊聚类分析方法

㈠ 数学建模中模糊聚类分析法的优缺点

数学建模中模糊聚类分析法优点：聚类分析模型的优点就是直观，结论形式简明。 缺点：在样本量较大时，要获得聚类结论有一定困难。
由于相似系数是根据被试的反映来建立反映被试间内在联系的指标， 而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相 似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误。
模糊聚类分析是根据客观事物间的特征、亲疏程度、相似性，通过建立模糊相似关系对客观事物进行聚类的分析方法。

模糊划分矩阵有无穷多个，这种模糊划分矩阵的全体称为模糊划分空间。最优分类的标准是样本与聚类中心的距离平方和最小。因为一个样本是按不同的隶属度属于各类的，所以应同时考虑它与每一类的聚类中心的距离。逐步聚类法需要反复迭代计算，计算工作量很大，要在电子计算机上进行。算出最优模糊划分矩阵后，还必须求得相应的常规划分。此时可将得到的聚类中心存在计算机中，将样本重新逐个输入，去与每个聚类中心进行比较，与哪个聚类中心最接近就属于哪一类。
这种方法要预先知道分类数，如分类数不合理，就重新计算。这就不如运用基于模糊等价关系的系统聚类法，但可以得到聚类中心，即各类模式样本，而这往往正是所要求的。因此可用模糊等价关系所得结果作为初始分类，再通过反复迭代法求得更好的结果。

㈡ 聚类分析法

聚类分析，亦称群分析或点分析，是研究多要素事物分类问题的数量方法。其基本原理是，根据样本自身的属性，用数学方法按照某些相似性或差异性指标，定量地确定样本之间的亲疏关系，并按亲疏关系的程度对样本进行聚类（徐建华，1994）。

聚类分析方法，应用在地下水中，是在各种指标和质量级别标准约束条件下，通过样品的各项指标监测值综合聚类，以判别地下水质量的级别。常见的聚类分析方法有系统聚类法、模糊聚类法和灰色聚类法等。

（一）系统聚类法

系统聚类法的主要步骤有：数据标准化、相似性统计量计算和聚类。

1.数据标准化

在聚类分析中，聚类要素的选择是十分重要的，它直接影响分类结果的准确性和可靠性。在地下水质量研究中，被聚类的对象常常是多个要素构成的。不同要素的数据差异可能很大，这会对分类结果产生影响。因此当分类要素的对象确定之后，在进行聚类分析之前，首先对聚类要素进行数据标准化处理。

假设把所考虑的水质分析点（G）作为聚类对象（有m个），用i表示（i=1，2，…，m）；把影响水质的主要因素作为聚类指标（有n个），用j表示（j=1，2，…，n），它们所对应的要素数据可用表4-3给出。在聚类分析中，聚类要素的数据标准化的方法较多，一般采用标准差法和极差法。

表4-3 聚类对象与要素数据

对于第j个变量进行标准化，就是将x_ij变换为x′_ij。

（1）总和标准化

区域地下水功能可持续性评价理论与方法研究

这种标准化方法所得的新数据x′_ij满足

区域地下水功能可持续性评价理论与方法研究

（2）标准差标准化

区域地下水功能可持续性评价理论与方法研究

式中：

；

由这种标准化方法所得的新数据x′_ij，各要素的平均值为0，标准差为1，即有

区域地下水功能可持续性评价理论与方法研究

（3）极差标准化

区域地下水功能可持续性评价理论与方法研究

经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在［0，1］闭区间内。

上述式中：x_ij为j变量实测值；x_j为j变量的样本平均值；s_j为样本标准差。

2.相似性统计量

系统聚类法要求给出一个能反映样品间相似程度的一个数字指标，需要找到能量度相似关系的统计量，这是系统聚类法的关键。

相似性统计量一般使用距离系数和相似系数进行计算。距离系数是把样品看成多维空间的点，用点间的距离来表示研究对象的紧密关系，距离越小，表明关系越密切。相似系数值表明样本和变量间的相似程度。

（1）距离系数

常采用欧几里得绝对距离，其中i样品与j样品距离d_ij为

区域地下水功能可持续性评价理论与方法研究

d_ij越小，表示i，j样品越相似。

（2）相似系数

常见的相似系数有夹角余弦和相关系数，计算公式为

1）夹角余弦

区域地下水功能可持续性评价理论与方法研究

在式（4-20）中：-1≤cosθ_ij≤1。

2）相关系数

区域地下水功能可持续性评价理论与方法研究

式中：d_ij为i样品与j样品的欧几里得距离；cosθ_ij为i样品与j样品的相似系数；r_ij为i样品与j样品的相关系数；x_ik为i样品第k个因子的实测值或标准化值；x_jk为j样品第k个因子的实测值或标准化值；

为i样品第k个因子的均值，

；

为j样品第k个因子的均值，

；n为样品的数目；k为因子（变量）数。

3.聚类

在选定相似性统计量之后，根据计算结果构成距离或相似性系数矩阵（n×n），然后通过一定的方法把n个样品组合成不同等级的分类单位，对类进行并类，即将最相似的样品归为一组，然后，把次相似的样品归为分类级别较高的组。聚类主要有直接聚类法、距离聚类法（最短距离聚类法、最远距离聚类法）。

（1）直接聚类法

直接聚类法，是根据距离或相似系数矩阵的结构一次并类得到结果，是一种简便的聚类方法。它首先把各个分类对象单独视为一类，然后根据距离最小或相似系数最大的原则，依次选出一对分类对象，并成新类。如果一对分类对象正好属于已归的两类，则把这两类并为一类。每一次归并，都划去该对象所在的列与列序相同的行。经过n-1次把全部分类对象归为一类，最后根据归并的先后顺序作出聚类分析谱系图。

（2）距离聚类法

距离聚类法包括最短距离聚类法和最远距离聚类法。最短距离聚类法具有空间压缩性，而最远距离聚类法具有空间扩张性。这两种聚类方法关于类之间的距离计算可以用一个统一的公式表示：

区域地下水功能可持续性评价理论与方法研究

当γ=-0.5时，式（4-22）计算类之间的距离最短；当γ=0.5时，式（4-22）计算类之间的距离最远。

最短、最远距离法，是在原来的n×n距离矩阵的非对角元素中找出d_pq=min（d_ij）或d_pq=max（d_ij），把分类对象G_p和G_q归并为一新类G_r，然后按计算公式：

d_pq=min（d_pk，d_qk）（k≠ p，q） （4-23）

d_pq=max（d_pk，d_qk）（k≠ p，q） （4-24）

计算原来各类与新类之间的距离，这样就得到一个新的（n-1）阶的距离矩阵；再从新的距离矩阵中选出最小或最大的d_ij，把G_i和G_j归并成新类；再计算各类与新类的距离，直至各分类对象被归为一类为止。最后综合整个聚类过程，作出最短距离或最远距离聚类谱系图（图4-1）。

图4-1 地下水质量评价的聚类谱系图

（二）模糊聚类法

模糊聚类法是普通聚类方法的一种拓展，它是在聚类方法中引入模糊概念形成的。该方法评价地下水质量的主要步骤，包括数据标准化、标定和聚类3个方面（付雁鹏等，1987）。

1.数据标准化

在进行聚类过程中，由于所研究的各个变量绝对值不一样，所以直接使用原始数据进行计算就会突出绝对值大的变量，而降低绝对值小的变量作用，特别是在进行模糊聚类分析中，模糊运算要求必须将数据压缩在［0，1］之间。因此，模糊聚类计算的首要工作是解决数据标准化问题。数据标准化的方法见系统聚类分析法。

2.标定与聚类

所谓标定就是计算出被分类对象间的相似系数r_ij，从而确定论域集U上的模糊相似关系R_ij。相似系数的求取，与系统聚类分析法相同。

聚类就是在已建立的模糊关系矩阵R_ij上，给出不同的置信水平λ（λ∈［0，1］）进行截取，进而得到不同的分类。

聚类方法较多，主要有基于模糊等价关系基础上的聚类与基于最大树的聚类。

（1）模糊等价关系方法

所谓模糊等价关系，是指具有自反性（r_ii=1）、对称性（r_ij=r_ji）与传递性（R·R⊆R）的模糊关系。

基于模糊等价关系的模糊聚类分析方法的基本思想是：由于模糊等价关系R是论域集U与自己的直积U×U上的一个模糊子集，因此可以对R进行分解，当用λ-水平对R作截集时，截得的U×U的普通子集R_λ就是U上的一个普通等价关系，也就是得到了关于U中被分类对象元素的一种。当λ由1下降到0时，所得的分类由细变粗，逐渐归并，从而形成一个动态聚类谱系图（徐建华，1994）。此类分析方法的具体步骤如下。

第一步：模糊相似关系的建立，即计算各分类对象之间相似性统计量。

第二步：将模糊相似关系R改造为模糊等价关系R′。模糊等价关系要求满足自反性、对称性与传递性。一般而言，模糊相似关系满足自反性和对称性，但不满足传递性。因此，需要采用传递闭合的性质将模糊相似关系改造为模糊等价关系。改造的方法是将相似关系R自乘，即

R²=R·R

R⁴=R²·R²

︙

这样计算下去，直到：R^2k=R^k·R^k=R^k，则R′=R^k便是一个模糊等价关系。

第三步：在不同的截集水平下进行聚类。

（2）最大树聚类方法

基于最大树的模糊聚类分析方法的基本思路是：最大树是一个不包含回路的连通图（图4-2）；选取λ水平对树枝进行截取，砍去权重低于λ 的枝，形成几个孤立的子树，每一棵子树就是一个类的集合。此类分析方法的具体步骤如下。

图4-2 最大聚类支撑树图

第一步：计算分类对象之间的模糊相似性统计量r_ij，构建最大树。

以所有被分类的对象为顶点，当两点间r_ij不等于0时，两点间可以用树干连接，这种连接是按r_ij从大到小的顺序依次进行的，从而构成最大树。

第二步：由最大树进行聚类分析。

选择某一λ值作截集，将树中小于λ值的树干砍断，使相连的结点构成一类，即子树，当λ由1到0时，所得到的分类由细变粗，各结点所代表的分类对象逐渐归并，从而形成一个动态聚类谱系图。

在聚类方法中，模糊聚类法比普通聚类法有较大的突破，简化了运算过程，使聚类法更易于掌握。

（三）灰色聚类法

灰色聚类是根据不同聚类指标所拥有的白化数，按几个灰类将聚类对象进行归纳，以判断该聚类对象属于哪一类。

灰色聚类应用于地下水水质评价中，是把所考虑的水质分析点作为聚类对象，用i表示（i=1，2，…，n）；把影响水质的主要因素作为聚类指标，用j表示（j=1，2，…，m），把水质级别作为聚类灰数（灰类），用k表示（k=1，2，3）即一级、二级、三级3个灰类（罗定贵等，1995）。

灰色聚类的主要步骤：确定聚类白化数、确定各灰色白化函数f_jk、求标定聚类权重η_jk、求聚类系数和按最大原则确定聚类对象分类。

1.确定聚类白化数

当各灰类白化数在数量上相差悬殊时，为保证各指标间的可比性与等效性，必须进行白化数的无量纲化处理。即给出第i个聚类对象中第j个聚类指标所拥有的白化数，i=1，2，…，n；j=1，2，…，m。

2.确定各灰色白化函数

建立满足各指标、级别区间为最大白化函数值（等于1），偏离此区间愈远，白化函数愈小（趋于0）的功效函数f_ij（x）。根据监测值C_ki，可在图上（图4-3）解析出相应的白化函数值f_jk（C_ik），j=1，2，…，m；k=1，2，3。

3.求标定聚类权重

根据式（4-25），计算得出聚类权重η_jk的矩阵（n×m）。

区域地下水功能可持续性评价理论与方法研究

式中：η_jk为第j个指标对第k个灰类的权重；λ_jk为白化函数的阈值（根据标准浓度而定）。

图4-3 白化函数图

注：图4-3白化函数f（x）∈［0，1］，具有下述特点：①平顶部分，表示该量的最佳程度。这部分的值为最佳值，即系数（权）为1，f（x）=max=1（峰值），x∈［x₂，x₃］。②白化函数是单调变化的，左边部分f（x）=L（x），单调增，x∈（x₁，x₂］，称为白化的左支函数；右边部分f（x）=R（x），单调减，x∈［x₃，x₄），称为白化的右支函数。③白化函数左右支函数对称。④白化函数，为了简便，一般是直线。⑤白化函数的起点和终点，一般来说是人为凭经验确定。

4.求聚类系数

σ_ik=∑f_jk（d_ij）η_jk （4-26）

式中：σ_ik为第i个聚类对象属于第k个灰类的系数，i=1，2，…，n；k=1，2，3。

5.按最大原则确定聚类对象分类

由σ_ik构造聚类向量矩阵，行向量最大者，确定k样品属于j级对应的级别。

用灰色聚类方法进行地下水水质评价，能最大限度地避免因人为因素而造成的“失真、失效”现象。

聚类方法计算相对复杂，但是计算结果与地下水质量标准级别对应性明显，能够较全面反映地下水质量状况，也是较高层次定量研究地下水质量的重要方法。

㈢ 模糊聚类分析的常用分类方法

数据分类中，常用的分类方法有多元统计中的系统聚类法、模糊聚类分析等.在模糊聚类分析中，首先要计算模糊相似矩阵，而不同的模糊相似矩阵会产生不同的分类结果;即使采用相同的模糊相似矩阵，不同的阈值也会产生不同的分类结果.“如何确定这些分类的有效性”便成为模糊聚类的要点。
识别研究中的一个重要问题.文献,把有效性不满意的原因归结于数据集几何结构的不理想.但笔者认为，不同的几何结构是对实际需要的反映，我们不能排除实际需要而追求所谓的“理想几何结构”，不理想的分类不应归因于数据集的几何结构.针对同一模糊相似矩阵，文献建立了确定模糊聚类有效性的方法.用固定的显着性水平，在不同分类的F一统计量和F检验临界值的差中选最大者，即为有效分类.但是，当显着性水平变化时，此方法的结果也会变化.文献引进了一种模糊划分嫡来评价模糊聚类的有效性，并人为规定当两类的嫡大于一数时，此两类可合并，通过逐次合并，最终得到有效分类.此方法人为干预较多，当这个规定数不同时，也会得到不同的结果.另外这两种方法也未比较不同模糊相似矩阵的分类结果. 系统聚类法是基于模糊等价关系的模糊聚类分析法。在经典的聚类分析方法中可用经典等价关系对样本集X进行聚类。设R是 X上的经典等价关系。对X中的两个元素x和y，若xRy或(x，y)∈R，则将x和y并为一类，否则x和y不属于同一类。
相应地，可用X上的模糊等价关系对样本集X进行模糊聚类。设慒是X上的模糊等价关系，是慒 的隶属函数。对于任何α∈【0，1】，定义慒 的α截关系 Sα是X上的经典等价关系。根据Sα得到X 的一种聚类,称为在α水平上的聚类。
应用这种方法,分类的结果与α的取值大小有关。α取值越大,分的类数越多。α小到某一值时,X中的所有样本归并为一类。这种方法的优点在于可按实际需要选取α的值，以便得到恰当的分类。
系统聚类法的步骤如下：
①用数字描述样本的特征。设被聚类的样本集为 X={x1，…,xn}。每个样本均有p种特征,记作xi=(xi1，…，xip)；i=1，2，…,n；xip表示描述样本xi的第p个特征的数。 ②规定样本之间的相似系数rij(0≤rij≤1；i，j=1，…，n)。rij描述样本xi与xj之间的差异或相似的程度。rij 越接近于1,表明样本xi与xj之间的差异越小;rij 越接近于0，表明xi与xj之间的差异越大。rij可用主观评定或集体评分的方法规定，也可用公式计算，如采用夹角余弦法、最小最大法、算术平均最小法等。
因为rii=1(xi与自身没有差异),rij=rji(xi与xj之间的差异等同于xj与xi之间的差异),所以由rij(i，j=1，…，n)可得X上的模糊相似关系。
一般，R不具备可传递性，因而R不一定是 X上的模糊等价关系。
③运用合成运算R=R⋅R（或R=R⋅R等）求出最接近相似关系R的模糊等价关系S=R（或R等）。若R已是模糊等价关系，则取S=R。
④选取适当水平α（0≤α≤1）,得到X 的一种聚类。 逐步聚类法是一种基于模糊划分的模糊聚类分析法。它是预先确定好待分类的样本应分成几类，然后按最优化原则进行再分类，经多次迭代直到分类比较合理为止。
在分类过程中可认为某个样本以某一隶属度隶属于某一类，又以另一隶属度隶属于另一类。这样，样本就不是明确地属于或不属于某一类。若样本集有 n个样本要分成c类，则它的模糊划分矩阵为此c×n模糊划分矩阵有下列特性：①uij∈【0，1】；i=1，…，c；j=1,…，n。②即每一样本属于各类的隶属度之和为1。③即每一类模糊子集都不是空集。

㈣ 水平井产能预测的模糊聚类方法

模糊聚类分析方法在实际中应用很广泛，目前已在选矿、气象、地质、地震、环境科学等方面取得成效，在石油工业的地质学、勘探决策等方面也有应用。

在现实世界中，一组事物根据其亲疏程度和相似性是否形成一个类群，或一个事物是否属于一个类别，其界限往往是不分明的，具有很大程度的模糊性。模糊集合论正是刻画和解决这类聚类问题的数学方法。模糊聚类分析是依据客观事物间的特征、亲疏程度和相似性，通过建立模糊相似关系对客观事物进行分类的数学方法。用模糊聚类分析方法处理带有模糊性的聚类问题要更为客观、灵活、直观和计算更加简洁。

本书将模糊聚类分析方法应用到水平井的开发指标预测上，采用模糊聚类的方法，以胜利油田已经大量投产的水平井的数据为基础，将同类油藏中已投产水平井进行分类，然后根据新设计井的有关参数将其归到相应类中，根据同类中已投产井的有关开发指标对新设计水平井的指标进行预测，取得了较好效果。

模糊聚类分析的一般步骤为:①原始数据标准化;②构造模糊相似矩阵;③水平井模糊聚类;④新井归类评价。

下面以胜利油区断块油藏永8断块为例，分析模糊聚类分析方法在水平井产能中的应用。

表4-11为胜利油区永安油田复杂断块油藏已投产14口水平井的有关数据，我们选取除永8平8井外的13口井参与聚类，参与聚类的指标为表4-11中的前6项，可采储量及初始日产液量、日产油量为新井预测对比指标。

表4-11 永安油田已投产水平井指标统计表

1.原始数据标准化

对于表4-11所示复杂断块油藏水平井的数据，由于各参数量纲不同，需要将其标准化。

原始数据标准化的目的就是排除原始数据中不同变量间量纲的影响，并使原始数据分布在相同的区间内，以相同的量级参与分类，即把除去量纲影响的原始数据都压缩在［0，1］闭区间内。

假设有N口水平井参与分类，每口水平井有K个参考油藏参数，构成如下矩阵:

实用水驱油藏开发评价方法

对上述原始矩阵进行标准化常用的方法有标准差标准化、极差标准化等。在本文的研究中，对不同性质的指标，采用了不同的方法。

对于水平井渗透率、垂直渗透率、控制储量等的“趋大”(值越大越好)指标，本文采用如下的数据标准化方法:

实用水驱油藏开发评价方法

对于原油黏度、密度等的“趋小”(值越小越好)指标，采用了如下标准化方法:

实用水驱油藏开发评价方法

对于油层厚度、水平段长度等的“趋中”(值以靠近某一标准值为好)指标，采用的标准化方法为

当

当

式中:i=1，2，…，N;j=1，2，…，K;X_jmin，X_imax，X_javg分别为在第j个参考参数中的最小值、最大值及最优值(或指定最优值)。

2.构造模糊相似矩阵

根据标准化数据，计算各水平井之间的相似程度，又称标定。标定的方法很多，如距离法包括切比雪夫距离法、海明距离法、欧氏距离法、闵可夫斯基距离法等，相似系数法包括夹角余弦法、相关系数法、指数相似系数法等，贴近度法包括最大最小法、算术平均最小法等。本文采用夹角余弦法来计算相似系数得到模糊相似矩阵:

实用水驱油藏开发评价方法

如果r_ij=0，说明两口井完全不相关，如果r_ij=1，说明两口井完全相似或相同。

选取断块油藏中已投产水平井的水平段实钻长度、原油地下黏度、有效厚度、水平与垂直渗透率比值等的6个参数作为模糊聚类分析的参考指标(即N=13，K=6)，根据前面所述方法得到的模糊相似矩阵如下所示。

实用水驱油藏开发评价方法

3.水平井模糊聚类

人们在实践中总结了多种模糊聚类方法，就理论上讲大致可分为三类:一类是基于模糊等价关系的传递闭包法，另一类是基于模糊相似关系的直接聚类法，再一类是基于软分类空间的模糊聚类法。用传递闭包法进行分类，当矩阵的阶数较高时计算量很大。考虑到以后研究中随投产水平井的增加，矩阵阶数会很大，因此这里采用了直接聚类法。

直接聚类法为乃指直接利用相似矩阵进行聚类的方法，常用的有最大树法和表格法。两种方法若手工完成，效率很低，本文编程序实现了利用最大树法的聚类过程，输入水平阈值λ∈［0，1］，分类一次完成，非常方便。输入不同的阈值，可得到不同的分类。

得到相似矩阵以后，便可以进行聚类了，对不同的阈值λ∈［0，1］，可得到不同的分类，取阈值λ=0.9，13口井被分成了6类，如表4-12所示。

表4-12 永安油田已投产水平井模糊聚类结果

4.新设计水平井归类评价

(1)新井归类计算

在已知水平井分类后，对于新设计水平井类别的划分，本书主要根据新水平井与已知水平井之间的相似程度来确定其归属。通过分别计算新井与已知井的相似系数，找出与新井相似系数最大的已知井类别作为新井的类别。

(2)新井指标预测

在确定新井类别后，将同类中已投产水平井的有关开发指标的平均值及产能变化规律作为新井的预测指标。

现假设永8平8井为新设计未投产井，通过归类计算，将其归到第二类中，那么就可以根据第二类中三口已投产水平井的有关指标来对该井进行指标预测。表4-13为第二类中已投产三口井指标的平均值与永8平8井的指标对比表。从表中可以看出，三口井指标平均值预测永8平8井的可采储量为5.05×10⁴t，初始日产液为32.6t/d，初始日产油量27.0t/d，与永8平8井实际指标的相对误差均在10%以内，能够满足工程设计的要求。那么我们就可以根据三口井的可采储量、初产油量等指标以及产量变化规律来对永8平8井的开发指标进行预测。

表4-13 新井归类指标对比表