① python怎么用sklearn包进行聚类
#-*-coding:utf-8-*-
fromsklearn.clusterimportKMeans
fromsklearn.externalsimportjoblib
importnumpy
final=open('c:/test/final.dat','r')
data=[line.strip().split(' ')forlineinfinal]
feature=[[float(x)forxinrow[3:]]forrowindata]
#调用kmeans类
clf=KMeans(n_clusters=9)
s=clf.fit(feature)
prints
#9个中心
printclf.cluster_centers_
#每个样本所属的簇
printclf.labels_
#用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数
printclf.inertia_
#进行预测
printclf.predict(feature)
#保存模型
joblib.mp(clf,'c:/km.pkl')
#载入保存的模型
clf=joblib.load('c:/km.pkl')
'''
#用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数
foriinrange(5,30,1):
clf=KMeans(n_clusters=i)
s=clf.fit(feature)
printi,clf.inertia_
'''
② 如何使用sklearn k-mean对数据进行聚类分析
#-*-coding:utf-8-*-
fromsklearn.clusterimportKMeans
fromsklearn.externalsimportjoblib
importnumpy
final=open('c:/test/final.dat','r')
data=[line.strip().split(' ')forlineinfinal]
feature=[[float(x)forxinrow[3:]]forrowindata]
#调用kmeans类
clf=KMeans(n_clusters=9)
s=clf.fit(feature)
prints
#9个中心
printclf.cluster_centers_
#每个样本所属的簇
printclf.labels_
#用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数
printclf.inertia_
#进行预测
printclf.predict(feature)
#保存模型
joblib.mp(clf,'c:/km.pkl')
#载入保存的模型
clf=joblib.load('c:/km.pkl')
'''
#用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数
foriinrange(5,30,1):
clf=KMeans(n_clusters=i)
s=clf.fit(feature)
printi,clf.inertia_
'''
③ sklearn的PCA
1.1 维度
对于数组和series来说，维度就是shape返回的结果，shape中返回几个数字就是几维。对图像来说，维度就是图像中特征向量的数量。降维算法中的”降维“，指的是降低特征矩阵中特征的数量。
1.2 sklearn中的降维算法
sklearn中的降维算法在模块decomposition中，这个模块的本质是一个矩阵分解模块。矩阵分解可以用在降维，深度学习，聚类分析，数据预处理，低纬度特征学习，推荐系统，大数据分析等领域。 SVD和主成分分析PCA都是通过分解特征矩阵来进行降维的 。
1.3 PCA
在降维的过程中，将会减少特征的数量，这意味着删除部分数据，数据量变少则表示模型可获取的信息变少了，模型的表现可能会因此受到影响。同时，在高维数据中，必然也有一些特征是不带有效信息的（噪音），或是有一些特征带有的信息和其他一些特征是重复的（一些特征之间可能会线性相关）。我们希望在降维的过程中，既能减少特征的数量又保留大部分有效信息，那就将带有重复信息的特征合并，并删除那些带有无效信息的特征，创建出一个能携带大部分信息，特征更少的特征矩阵。
在降维中，PCA使用的信息量衡量指标是样本方差，又称可解释性方差，方差越大，特征携带的信息量越多。
var代表一个特征的方差，n代表样本量，xi代表一个特征中每个样本的取值，xhat代表这一列样本的均值。
1.4 降维的实现
步骤3中，我们用来找出n个新特征向量，让数据能够被压缩到少数特征上并且中信息量不损失太多的技术就是矩阵分解，PCA与SVD是两种不同的降维算法，但是都遵从上面的过程来降维，只是两种算法的矩阵分解的方法不同，信息量的衡量指标不同。PCA使用方差作为信息量的衡量指标，并且使用特征值分解来找出空间V。降维时，它会产生协方差矩阵 将特征矩阵分解为以下三个矩阵，其中Q和 是辅助的矩阵， 是一个对角矩阵（除对角线上有值，其他位置都是0的矩阵），其对角线上的元素就是方差，降维完成之后，PCA找到的每个新特征向量就叫做“主成分”，而被丢弃的特征向量被认为信息量很少，这些信息很可能就是噪音。
SVD使用奇异值分解来找出空间V，其中Σ也是一个对角矩阵，不过它对角线上的元素是奇异值，这也是SVD中用来衡量特征上的信息量的指标。U和V^{T}分别是左奇异矩阵和右奇异矩阵，也都是辅助矩阵。
在数学原理中，无论是PCA还是SVD都需要遍历所有的特征和样本来计算信息量指标，并且在矩阵分解的过程中，会产生比原来更大的矩阵，比如原数据的结构是(m,n)，在矩阵分解中为了找出最佳新特征空间V，可能需要产生(n,n)，(m,m)大小的矩阵，还需要产生协方差矩阵去计算更多的信息，因此，降维算法的计算量很大，运行比较缓慢。
PAC数据特征创造并不属于特征选择，特征选择只是从已经存在的特征中选取携带信息量最多的，选完之后特征依然具有可解释性，仍然能解释改特征在原数据集上的含义。而PCA是将已经存在的特征进行压缩，降维后的特征不是原特征矩阵中的任何一个特征，而是通过某些方式组合起来的新特征。在新的特征矩阵生成之前，我们无法得知PCA是建立在怎么样的新特征向量上，所以新特征矩阵生成之后不再具有可读性，我们无法判断新特征矩阵的特征是从原数据中的什么特征组合而来，新特征虽然带有原始数据的信息，却已经不是原数据上代表着的含义了。PCA一般不适用于探索特征和标签之间的关系的模型（如线性回归），因为无法解释的新特征和标签之间的关系不具有意义。
1.5 sklearn.decomposition.PCA
class sklearn.decomposition.PCA (n_components=None, =True, whiten=False, svd_solver=’auto’, tol=0.0,iterated_power=’auto’, random_state=None)
n_components就是降维后需要保留的特征数量，即降维流程中第二步里面需要确认的k值，一般输入[0,min(X.shape)]范围中的整数，k的值会影响到模型的表现，如果k值太大，留下的特征太多，达不到降维的效果，如果k值太小，留下的特征太少，那新特征向量可能无法容纳原始数据集中的大部分信息。n_components取值如何选呢？
a. 选择最好的n_components：累积可解释方差贡献率曲线。
当参数n_components中不填写任何值，则默认返回min(X.shape)个特征，一般来说，样本量都会大于特征数目，所以什么都不填就相当于转换了新特征空间，但没有减少特征的个数。一般来说，不会使用这种输入方式。但我们却可以使用这种输入方式来画出累计可解释方差贡献率曲线，以此选择最好的n_components的整数取值。累计可解释方差贡献率曲线是一天以降维后保留的特征个数为横坐标，降维后新特征捕捉到的可解释方差贡献率为纵坐标的曲线，能帮助我们决定n_components的最好取值.
b.最大似然估计自选超参数
PCA用最大似然估计(maximum likelihoodestimation)自选超参数的方法，输入“mle”作为n_components的参数输入，就可以调用这种方法。
c.按信息量占比选超参数
输入[0,1]之间的浮点数，并且让参数svd_solver =='full'，表示希望降维后的总解释性方差占比大于n_components指定的百分比，即是说，希望保留百分之多少的信息量。比如说，如果我们希望保留97%的信息量，就可以输入n_components = 0.97，PCA会自动选出能够让保留的信息量超过97%的特征数量
svd_solver是奇异值分解器的意思，PCA中为什么会有关奇异值分解的参数呢？SVD有一个惊人的数学性质，它能跳过数学神秘宇宙，不计算协方差矩阵，直接找出一个新特征向量组成的n维空间，而这个n维空间就是奇异值分解后的右矩阵 (就是降维过程中所说的生成新特征向量组成的空间V，并非巧合，而特指奇异值分解中的矩阵 )
右奇异矩阵 有着如下性质：
k就是n_compoents,是我们降维后希望得到的维度。若X为(m,n)的特征矩阵， 就是结构为(n,n)的矩阵，取这个矩阵的前k行（进行切片），即将V转化为结构是(k,n)的矩阵。而 与原矩阵X相乘，即可得到降维后的特征矩阵X_dr， 这是说，奇异值分解可以不计算协方差矩阵等等结构复杂计算冗长的矩阵，就直接求出新特征空间和降维后的特征矩阵。
简而言之，SVD在矩阵分解中的过程比PCA简单快速，但是遗憾的是，SVD的信息量衡量指标比较复杂，要理解”奇异值“远不如理解”方差“来得容易，因此，sklearn将降维流程拆分为了两部分，一部分是计算特征空间的V，由奇异值分解完成，另一部分是映射数据和求解新特征矩阵，由主成分分析完成，实现了用SVD的性质减少计算量，却让信息量的评估指标是方差，具体的流程如下图：
1.6 重要参数 svd_solver与random_state
参数svd_solver是在降维过程中，用来控制矩阵分解的一些细节的参数。有四种模式可选："auto", "full", "arpack","randomized"，默认”auto"。
1.'auto'：基于X.shape和n_compoents的默认策略来选择分解器，如果输入数据的尺寸大于500X500且要提取的特征小于数据最小维度的min(X.shape)的80%，就用效果更高的‘randomized’方法，否则就精确完整的SVD将被计算，截断将会在矩阵被分解完成后有选择的发生。
2.‘full’：从scipy.linalg.svd中调用标准的LAPACK分解器来生成精确完整的SVD，适合数据量比较适中，计算时间充足的情况，生成的精确完整的SVD的结构为：
3.‘arpack’：从scipy.sparse.linalg.svds调用ARPACK分解器来运行截断奇异值分解(SVD truncated)，分解时就将特征数量降到n_components中输入的数值k，可以加快运算速度，适合特征矩阵很大的时候，但一般用于特征矩阵为稀疏矩阵的情况，此过程包含一定的随机性。截断后的SVD分解出的结构为：
4.‘randomized’：通过Halko等人的随机方法进行随机SVD。在"full"方法中，分解器会根据原始数据和输入的n_components值去计算和寻找符合需求的新特征向量，但是在"randomized"方法中，分解器会先生成多个随机向量，然后一一去检测这些随机向量中是否有任何一个符合我们的分解需求，如果符合，就保留这个随机向量，并基于这个随机向量来构建后续的向量空间。这个方法已经被Halko等人证明，比"full"模式下计算快很多，并且还能够保证模型运行效果。适合特征矩阵巨大，计算量庞大的情况。
而参数random_state在参数svd_solver的值为"arpack" or "randomized"的时候生效，可以控制这两种SVD模式中的随机模式。通常我们就选用”auto“，不必对这个参数纠结太多。
④ sklearn.cluster.DBSCAN聚类后的结果集怎么样获取
运用聚类分析法主要做好分析表达数据：1、通过一系列的检测将待测的一组基因的变异标准化，然后成对比较线性协方差。2、通过把用最紧密关联的谱来放基因进行样本聚类，例如用简单的层级聚类（hierarchicalclustering）方法。
⑤ 使用 sklearn 库中的 KMeans 实现彩色图像聚类分割
sklearn 库是最为常用且经典的机器学习库，里面封装了许多机器学习算法，此篇文章使用此库中的 KMeans 算法，从而实现图像的聚类分割。
本文不讲理论，只谈应用。
除了 sklearn 库之外，还需要一些图像处理的库，我引入了如下几个库：
我使用了 pylab 库来读入图片：
此时读入的 img 是一个三维 numpy 数组，其形状为 (height, width, 3) ，其中3是指通道数，即 RGB 三个通道。
但是， KMeans 传入的参数必须是二维数组，故，还需要将其打散为二维：
在此构建时，只需要使用最简单的方法即可：
参数有很多，我在构建的时候除了 n_clusters 都使用的默认值：
然后，使用 fit() 进行训练：
聚类之后，有很多参数，比较重要的，以及此处需要用到的主要有俩：
聚类完成之后，需要将每个像素点重新填色，将同一类的像素点均填为此类聚类中心的颜色。
在此之前，首先需要得到图片的高度和宽度：
首先用 image.new() 重新创建一个图片，其语法如下：
然后需要用 putpixel() 方法来填充像素，但是在此之前，还需要处理几个小细节：
RGB图中，每个通道都是 0-255 之间的整数，但是， kmeans.cluster_centers_ 中元素类型却是 float64 ，故在填充之前，还需要小小处理一番，将元素变为 int32 类型的。
直接转变类型不太合适，因为 kmeans.cluster_centers_ 毕竟是类似于一个属性值的东西，而且这个名字太长，换一个简短的也是好的。故重新复制一份再使用 astype 更改数据类型即可。
上面便提到， kmeans.labels_ 是一个一维数组，但是图片是二维的，所以将其恢复过来即可：
然后便可以 填充像素 了：
这里需要注意 putpixel() 方法，其的两个参数：
最后保存图片即可：
我使用了王者荣耀大乔的图片来做测试：
⑥ python怎么用sklearn包进行聚类
# -*- coding: utf-8 -*-from sklearn.cluster import KMeansfrom sklearn.externals import joblibimport numpyfinal = open('c:/test/final.dat' , 'r')data = [line.strip().split('\t') for line in final]feature = [[float(x) for x in ro...
⑦ 常用聚类(K-means,DBSCAN)以及聚类的度量指标：
一年前需要用聚类算法时，自己从一些sklearn文档和博客粗略整理了一些相关的知识，记录在电子笔记里备忘，现在发到网上，当时就整理的就很乱，以后有空慢慢把内容整理、完善，用作备忘。之前把电影标签信息的聚类结果作为隐式反馈放进SVD++中去训练，里面有两个小例子
利用条件熵定义的同质性度量：
sklearn.metrics.homogeneity_score:每一个聚出的类仅包含一个类别的程度度量。
sklearn.metrics.completeness:每一个类别被指向相同聚出的类的程度度量。
sklearn.metrics.v_measure_score:上面两者的一种折衷：
v = 2 * (homogeneity * completeness) / (homogeneity + completeness)
可以作为聚类结果的一种度量。
sklearn.metrics.adjusted_rand_score:调整的兰德系数。
ARI取值范围为[-1,1],从广义的角度来讲，ARI衡量的是两个数据分布的吻合程度
sklearn.metrics.adjusted_mutual_info_score:调整的互信息。
利用基于互信息的方法来衡量聚类效果需要实际类别信息，MI与NMI取值范围为[0,1],AMI取值范围为[-1,1]。
在scikit-learn中， Calinski-Harabasz Index对应的方法是metrics.calinski_harabaz_score.
CH指标通过计算类中各点与类中心的距离平方和来度量类内的紧密度，通过计算各类中心点与数据集中心点距离平方和来度量数据集的分离度，CH指标由分离度与紧密度的比值得到。从而，CH越大代表着类自身越紧密，类与类之间越分散，即更优的聚类结果。
silhouette_sample
对于一个样本点(b - a)/max(a, b)
a平均类内距离，b样本点到与其最近的非此类的距离。
silihouette_score返回的是所有样本的该值,取值范围为[-1,1]。
这些度量均是越大越好
K-means算法应该算是最常见的聚类算法，该算法的目的是选择出质心，使得各个聚类内部的inertia值最小化，计算方法如下：
inertia可以被认为是类内聚合度的一种度量方式，这种度量方式的主要缺点是：
（1）inertia假设数据内的聚类都是凸的并且各向同性（ convex and isotropic），
各项同性是指在数据的属性在不同方向上是相同的。数据并不是总能够满足这些前提假设的，
所以当数据事细长簇的聚类，或者不规则形状的流形时，K-means算法的效果不理想。
（2）inertia不是一种归一化度量方式。一般来说，inertia值越小，说明聚类效果越好。
但是在高维空间中，欧式距离的值可能会呈现迅速增长的趋势，所以在进行K-means之前首先进行降维操作，如PCA等，可以解决高维空间中inertia快速增长的问题，也有主意提高计算速度。
K-means算法可以在足够长的时间内收敛，但有可能收敛到一个局部最小值。
聚类的结果高度依赖质心的初始化，因此在计算过程中，采取的措施是进行不止一次的聚类，每次都初始化不同的质心。
sklearn中可以通过设置参数init='kmeans++'来采取k-means++初始化方案，
即初始化的质心相互之间距离很远，这种方式相比于随机初始质心，能够取得更好的效果。
另外，sklearn中可以通过参数n_job，使得K-means采用并行计算的方式。
##sklearn 中K-means的主要参数：
1) n_clusters: 设定的k值
2）max_iter： 最大的迭代次数，一般如果是凸数据集的话可以不管这个值，如果数据集不是凸的，可能很难收敛，此时可以指定最大的迭代次数让算法可以及时退出循环。
3）n_init：用不同的初始化质心运行算法的次数。由于K-Means是结果受初始值影响的局部最优的迭代算法，因此需要多跑几次以选择一个较好的聚类效果，默认是10。如果你的k值较大，则可以适当增大这个值。
4）init： 即初始值选择的方式，可以为完全随机选择'random',优化过的'k-means++'或者自己指定初始化的k个质心。一般建议使用默认的'k-means++'。
5）algorithm：有“auto”, “full” or “elkan”三种选择。"full"就是我们传统的K-Means算法， “elkan”elkan K-Means算法。默认的"auto"则会根据数据值是否是稀疏的，来决定如何选择"full"和“elkan”。一般来说建议直接用默认的"auto"
聚类的中心
print clf.cluster_centers_
每个样本所属的簇
print clf.labels_
用来评估簇的个数是否合适，距离越小说明簇分的越好，选取临界点的簇个数
print clf.inertia_
Sum of distances of samples to their closest cluster center.
两个小例子（很久以前弄的，写得比较简略比较乱，有空再改，数据是movielen中的电影标签信息）：
例1：
例2，在区间[2,200]上遍历k,并生成两个聚类内部评价指标CH分、轮廓系数以及kmeans自带inertia分和对应的k值的图片来选择k：
其中两点相似度s(i, j)的度量默认采用负欧氏距离。
sklearn.cluster.AffinityPropagation
有参数preference（设定每一个点的偏好，将偏好于跟其他节点的相似性进行比较，选择
高的作为exmplar,未设定则使用所有相似性的中位数）、damping （阻尼系数，
利用阻尼系数与1-阻尼系数对r 及 a进行有关迭代步数的凸组合，使得算法收敛
default 0.5 可以取值与[0.5, 1]）
cluster_centers_indices_:中心样本的指标。
AP算法的主要思想是通过数据点两两之间传递的信息进行聚类。
该算法的主要优点是能够自主计算聚类的数目，而不用人为制定类的数目。
其缺点是计算复杂度较大 ，计算时间长同时空间复杂度大，
因此该算法适合对数据量不大的问题进行聚类分析。
数据点之间传递的信息包括两个，吸引度（responsibility）r(i,k)和归属度（availability）a(i,k)。
吸引度r(i,k)度量的是质心k应当作为点i的质心的程度，
归属度a(i,k)度量的是点i应当选择质心k作为其质心的程度。
其中t是迭代的次数，λ是阻尼因子，其值介于[0,1]，在sklearn.cluster.AffinityPropagation中通过参数damping进行设置。
每次更新完矩阵后，就可以为每个数据点分配质心，分配方式?是针对数据点i，遍历所有数据点k（包括其自身），
找到一个k使得r(i,k)+a(i,k)的值最大，则点k就是点i所属的质心，迭代这个过程直至收敛。
所谓收敛就是所有点所属的质心不再变化
首先说明不引入核函数时的情况。
算法大致流程为：随机选取一个点作为球心，以一定半径画一个高维球（数据可能是高维的），
在这个球范围内的点都是这个球心的邻居。这些邻居相对于球心都存在一个偏移向量，
将这些向量相加求和再平均，就得到一个mean shift，起点在原球心，重点在球内的其他位置。
以mean shift的重点作为新的球心，重复上述过程直至收敛。
这个计算过程中，高维球内的点，无论其距离球心距离多远，对于mean shift的计算权重是一样的。
为了改善这种情况，在迭代计算mean shift的过程中引入了核函数
sklearn中相关实现是sklearn.cluster.MeanShift。
sklearn中实现的是自底向上的层次聚类，实现方法是sklearn.cluster.AgglomerativeClustering。
初始时，所有点各自单独成为一类，然后采取某种度量方法将相近的类进行合并，并且度量方法有多种选择。
合并的过程可以构成一个树结构，其根节点就是所有数据的集合，叶子节点就是各条单一数据。
sklearn.cluster.AgglomerativeClustering中可以通过参数linkage选择不同的度量方法，用来度量两个类之间的距离，
可选参数有ward,complete,average三个。
ward:选择这样的两个类进行合并，合并后的类的离差平方和最小。
complete:两个类的聚类被定义为类内数据的最大距离，即分属两个类的距离最远的两个点的距离。
选择两个类进行合并时，从现有的类中找到两个类使得这个值最小，就合并这两个类。
average:两个类内数据两两之间距离的平均值作为两个类的距离。
同样的，从现有的类中找到两个类使得这个值最小，就合并这两个类。
Agglomerative cluster有一个缺点，就是rich get richer现象，
这可能导致聚类结果得到的类的大小不均衡。
从这个角度考虑，complete策略效果最差，ward得到的类的大小最为均衡。
但是在ward策略下，affinity参数只能是“euclidean”，即欧式距离。
如果在欧氏距离不适用的环境中，average is a good alternative。
另外还应该注意参数affinity，这个参数设置的是计算两个点之间距离时采用的策略，
注意和参数linkage区分，linkage设置的是衡量两个类之间距离时采用的策略，
而点之间的距离衡量是类之间距离衡量的基础。
affinity的可选数值包括 “euclidean”, “l1”, “l2”, “manhattan”, “cosine”,
‘precomputed’. If linkage is “ward”, only “euclidean” is accepted.
DBSCAN算法的主要思想是，认为密度稠密的区域是一个聚类，各个聚类是被密度稀疏的区域划分开来的。
也就是说，密度稀疏的区域构成了各个聚类之间的划分界限。与K-means等算法相比，该算法的主要优点包括：可以自主计算聚类的数目，不需要认为指定；不要求类的形状是凸的，可以是任意形状的。
DBSCAN中包含的几个关键概念包括core sample，non-core sample，min_sample，eps。
core samle是指，在该数据点周围eps范围内，至少包含min_sample个其他数据点，则该点是core sample，
这些数据点称为core sample的邻居。与之对应的，non-sample是该点周围eps范围内，所包含的数据点个数少于min_sample个。从定义可知，core sample是位于密度稠密区域的点。
一个聚类就是一个core sample的集合，这个集合的构建过程是一个递归的构成。
首先，找到任意个core sample，然后从它的邻居中找到core sample，
接着递归的从这些邻居中的core sample的邻居中继续找core sample。
要注意core sample的邻居中不仅有其他core sample，也有一些non-core smaple，
也正是因为这个原因，聚类集合中也包含少量的non-core sample，它们是聚类中core sample的邻居，
但自己不是core sample。这些non-core sample构成了边界。
在确定了如何通过单一core sample找到了一个聚类后，下面描述DBSCAN算法的整个流程。
首先，扫描数据集找到任意一个core sample，以此core sample为起点，按照上一段描述的方法进行扩充，确定一个聚类。然后，再次扫描数据集，找到任意一个不属于以确定类别的core sample，重复扩充过程，再次确定一个聚类。
迭代这个过程，直至数据集中不再包含有core sample。
这也是为什么DBSCAN不用认为指定聚类数目的原因。
DBSCAN算法包含一定的非确定性。数据中的core sample总是会被分配到相同的聚类中的，哪怕在统一数据集上多次运行DBSCAN。其不确定性主要体现在non-core sample的分配上。
一个non-core sample可能同时是两个core sample的邻居，而这两个core sample隶属于不同的聚类。
DBSCAN中，这个non-core sample会被分配给首先生成的那个聚类，而哪个聚类先生成是随机的。
sklearn中DBSCAN的实现中，邻居的确定使用的ball tree和kd-tree思想，这就避免了计算距离矩阵。
⑧ 用sklearn进行降维的七种方法
在实际的应用中，有时候我们会遇到数据的维度太少，我们需要新生成新的维度，可以用我们之前的分享（ 如何自动化进行特征工程 ）；有时候维度太多，这时候我们就需要降维了。降维的方法有许多，我们这里介绍了sklearn中介绍的7种，供大家学习和收藏。
主成分分析（PCA）用于将多维的数据集分解为一组具有最大方差的连续正交分量。在sklearn这个包中，PCA是一个transformer对象，使用fit方法可以选择前n个主成分，并且用于投射到新的数据中。
PCA有两种实现方式，一种是特征值分解去实现，一种是奇异值分解去实现。特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，如果不使用SVD，PCA只会寻找每个特征的中心，但并不会对数据进行缩放（scaled）。使用参数whiten=True ，可以将数据投射到奇异空间中，并且将每个组分缩放到方差为1，这个对于后续分析中，假设每个特征是isotropy 是很有帮助的，例如SVM和Kmeans聚类。
PCA不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的m个特征互不相关。
SVD是一种矩阵分解法，把一个大矩阵分解成易于处理的形式，这种形式可能是两个或多个矩阵的乘积。
参数
例子2：获取每个主成分与特征的关系
PCA虽然很有用，但是需要将数据全部都存入内存，因此当当要分解的数据集太大，会导致内存很大。这时候，增量主成分分析（IPCA）通常用作主成分分析（PCA）的替代，可以通过部分计算的方式，获得跟PCA一样的结果。
IPCA使用与输入数据样本数无关的内存量为输入数据建立低秩近似。它仍然依赖于输入数据功能，但更改批量大小可以控制内存使用量。
该函数，增加了一个batch_size的参数，用来控制批次，其余都一样，至此不再赘述。
实例
对于大型矩阵的分解，我们往往会想到用SVD算法。然而当矩阵的维数与奇异值个数k上升到一定程度时，SVD分解法往往因为内存溢出而失败。因此，Randomized SVD算法，相比于SVD，它更能适应大型矩阵分解的要求，且速度更快。
此外，在某些场景下，我们期望丢掉某些lower sigular values，来达到减少噪音，保留尽可能多的方差，从而达到更好的预测效果。比如人脸的识别，如果是64X64的像素，那么整个维度有4096个。我们利用这个方法，可以保留重要的维度，从而利于后续的分析。
使用 svd_solver='randomized' 可以实现随机化的SVD，来去掉部分的奇异矩阵。
主成分分析（Principal Components Analysis, PCA）适用于数据的线性降维。而核主成分分析（Kernel PCA，KPCA）可实现数据的非线性降维，用于处理线性不可分的数据集。kernel的选择有 {'linear', 'poly', 'rbf', 'sigmoid', 'cosine', 'precomputed'}，默认是'linear'。
详细说明见官方说明，与普通的PCA差不多。
SparsePCA 期望找到一组可以最优地重构数据的稀疏主成分。稀疏性的大小由参数alpha给出的L1惩罚系数来控制。Mini-batch sparse PCA是sparsePCA的变种，提高了速度，但是降低了精度。
主成分分析（PCA）的缺点是，该方法提取的成分是一种密集表达式，即用原始变量的线性组合表示时，它们的系数是非零的。这可能会使解释模型变得困难。在许多情况下，真实的基础分量可以更自然地想象为稀疏向量;例如，在人脸识别中，主成分会只包含部分的图像，映射到人脸的某些部分。稀疏主成分产生了一种更简洁的、可解释的表示，清楚地强调是哪些原始特征导致了样本之间的差异。
通过调节alpha来调整惩罚度，alpha越大，越导致许多系数为0。
TruncatedSVD是普通SVD的一个变种，只计算用户指定的前K个奇异值。TSVD通常用于语义分析中，是LSA的其中的一部分，可以解决一词多义和一义多词的问题。
LSA潜在语义分析的目的，就是要找出词（terms）在文档和查询中真正的含义，也就是潜在语义，从而解决上节所描述的问题。具体说来就是对一个大型的文档集合使用一个合理的维度建模，并将词和文档都表示到该空间，比如有2000个文档，包含7000个索引词，LSA使用一个维度为100的向量空间将文档和词表示到该空间，进而在该空间进行信息检索。而将文档表示到此空间的过程就是SVD奇异值分解和降维的过程。降维是LSA分析中最重要的一步，通过降维，去除了文档中的“噪音”，也就是无关信息（比如词的误用或不相关的词偶尔出现在一起），语义结构逐渐呈现。相比传统向量空间，潜在语义空间的维度更小，语义关系更明确。
使用例子如下：
用事先预定义好的字典来对矩阵进行稀疏化编码，达到降维和简化的目的。就像人类的所有语言都是由单词组成一样，因此使用已知的词典可以减少维度；其次，稀疏化可以减少计算的成本，让后续的计算更快。
这个对象没有fit的方法，transformation方法会将数据表示为尽可能少的字典原子的线性组合。可以用transform_method来控制初始化参数，有以下几种：
使用的函数为sklearn.decomposition.DictionaryLearning，会找到一个可以将fitted data足够好稀疏化的字典。
将数据表示为一个overcomplete的字典这个过程，同大脑处理数据的过程类似。这个方法在图像补丁的字典学习已被证明在诸如图像完成、修复和去噪以及监督识别任务的图像处理任务中给出良好的结果。
使用函数为sklearn.decomposition.MiniBatchDictionaryLearning，是一种快速的，但是精确度降低的版本，适应于大数据集合。
默认情况下，MiniBatchDictionaryLearning将数据分成小批量，并通过在指定次数的迭代中循环使用小批量，以在线方式进行优化。但是，目前它没有退出迭代的停止条件。也可以用partial_fit来实现小批次的fit。
从变量中提取共性因子。
因子分析要求原有变量间具有较强的相关性，否则，因子分析无法提取变量间的共性特征，如果相关系数小于0.3，则变量间的共线性较小，不适合因子分析；因子分析得到因子和原变量的关系，因此能够对因子进行解释。
因子分析可以产生与 PCA 相似的特征（载荷矩阵的列）。不过，不能对这些特征做出任何一般性的说明（例如他们是否正交）。
使用的函数为sklearn.decomposition.FactorAnalysis。
使用的函数为sklearn.decomposition.FastICA，ICA可以提取出一系列的主成分，彼此最大的独立。因此，ICA一般不用于降维，而用于区分叠加信号。ICA不考虑noise，为了使模型正确，必须使用whitening，可以使用whiten这个参数。
ICA 通常用于分离混合信号（称为盲源分离的问题），也可以作为一种非线性降维方法，可以找到具有一些稀疏性的特征。
主成分分析假设源信号间彼此非相关，独立成分分析假设源信号间彼此独立。
主成分分析认为主元之间彼此正交，样本呈高斯分布；独立成分分析则不要求样本呈高斯分布。
非负矩阵分解，顾名思义就是，将非负的大矩阵分解成两个非负的小矩阵。在数据矩阵不包含负值的情况下，应用NMF而不是PCA或其变体。
NMF可以产生可以代表数据的主成分，从而可以来解释整个模型。
参数init，可以用来选择初始化的方法，不同的方法对结果会有不同的表现。
在PCA处理中，假使将特征降维为600个，那么降维后的每个人脸都包含了600个特征（所以我们看到降维后的人脸有种“伏地魔”的感觉 ，这是因为降维处理相当于删去了部分细节特征，导致一部分信息丢失，在图片中最直观的体现就是变模糊）。而在NMF的处理中，这1000个特征相当于是被分离了。相当于，一张人脸是由鼻子、耳朵等这些独立的特征叠加出来的。
LDA是文档主题生成模型，对离散数据集（如文本语料库）的集合的生成概率模型。它也是一个主题模型，用于从文档集合中发现抽象主题。LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。
sklearn.decomposition.LatentDirichletAllocation是用于进行LDA的函数。
1、 https://www.jianshu.com/p/1adef2d6dd88
2、 https://www.jianshu.com/p/e574e91070ad
3、 https://scikit-learn.org/stable/moles/decomposition.html#decompositions
4、 https://shankarmsy.github.io/posts/pca-sklearn.html
5、 https://mp.weixin.qq.com/s/Tl9ssjmGdeyNrNuIReo1aw
6、 https://www.cnblogs.com/eczhou/p/5433856.html
7、 https://scikit-learn.org/stable/auto_examples/applications/plot_face_recognition.html#sphx-glr-auto-examples-applications-plot-face-recognition-py
8、 https://blog.csdn.net/fkyyly/article/details/84665361 LSA(Latent semantic analysis)
9、 https://blog.csdn.net/fjssharpsword/article/details/74964127
10、 https://www.jianshu.com/p/e90900a3d03a
⑨ 聚类分析之KNN
我们先用一个例子体会下。
假设，我们想对电影的类型进行分类，统计了电影中打斗次数、接吻次数，当然还有其他的指标也可以被统计到，如下表所示。
我们很容易理解《战狼》《红海行动》《碟中谍 6》是动作片，《前任 3》《春娇救志明》《泰坦尼克号》是爱情片，但是有没有一种方法让机器也可以掌握这个分类的规则，当有一部新电影的时候，也可以对它的类型自动分类呢？
我们可以把打斗次数看成 X 轴，接吻次数看成 Y 轴，然后在二维的坐标轴上，对这几部电影进行标记，如下图所示。对于未知的电影 A，坐标为 (x,y)，我们需要看下离电影 A 最近的都有哪些电影，这些电影中的大多数属于哪个分类，那么电影 A 就属于哪个分类。实际操作中，我们还需要确定一个 K 值，也就是我们要观察离电影 A 最近的电影有多少个。
KNN 的工作原理
“近朱者赤，近墨者黑”可以说是 KNN 的工作原理。整个计算过程分为三步：
计算待分类物体与其他物体之间的距离；
统计距离最近的 K 个邻居；
对于 K 个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类。
K 值如何选择
你能看出整个 KNN 的分类过程，K 值的选择还是很重要的。那么问题来了，K 值选择多少是适合的呢？
如果 K 值比较小，就相当于未分类物体与它的邻居非常接近才行。这样产生的一个问题就是，如果邻居点是个噪声点，那么未分类物体的分类也会产生误差，这样 KNN 分类就会产生过拟合。
如果 K 值比较大，相当于距离过远的点也会对未知物体的分类产生影响，虽然这种情况的好处是鲁棒性强，但是不足也很明显，会产生欠拟合情况，也就是没有把未分类物体真正分类出来。
所以 K 值应该是个实践出来的结果，并不是我们事先而定的。在工程上，我们一般采用交叉验证的方式选取 K 值。
交叉验证的思路就是，把样本集中的大部分样本作为训练集，剩余的小部分样本用于预测，来验证分类模型的准确性。所以在 KNN 算法中，我们一般会把 K 值选取在较小的范围内，同时在验证集上准确率最高的那一个最终确定作为 K 值。
距离如何计算
在 KNN 算法中，还有一个重要的计算就是关于距离的度量。两个样本点之间的距离代表了这两个样本之间的相似度。距离越大，差异性越大；距离越小，相似度越大。
关于距离的计算方式有下面五种方式：
欧氏距离；
曼哈顿距离；
闵可夫斯基距离；
切比雪夫距离；
余弦距离。
其中前三种距离是 KNN 中最常用的距离，我给你分别讲解下。
欧氏距离是我们最常用的距离公式，也叫做欧几里得距离。在二维空间中，两点的欧式距离就是：
同理，我们也可以求得两点在 n 维空间中的距离：
曼哈顿距离在几何空间中用的比较多。以下图为例，绿色的直线代表两点之间的欧式距离，而红色和黄色的线为两点的曼哈顿距离。所以曼哈顿距离等于两个点在坐标系上绝对轴距总和。用公式表示就是：
闵可夫斯基距离不是一个距离，而是一组距离的定义。对于 n 维空间中的两个点 x(x1,x2,…,xn) 和 y(y1,y2,…,yn) ， x 和 y 两点之间的闵可夫斯基距离为：
其中 p 代表空间的维数，当 p=1 时，就是曼哈顿距离；当 p=2 时，就是欧氏距离；当 p→∞时，就是切比雪夫距离。
那么切比雪夫距离怎么计算呢？二个点之间的切比雪夫距离就是这两个点坐标数值差的绝对值的最大值，用数学表示就是：max(|x1-y1|,|x2-y2|)。
余弦距离实际上计算的是两个向量的夹角，是在方向上计算两者之间的差异，对绝对数值不敏感。在兴趣相关性比较上，角度关系比距离的绝对值更重要，因此余弦距离可以用于衡量用户对内容兴趣的区分度。比如我们用搜索引擎搜索某个关键词，它还会给你推荐其他的相关搜索，这些推荐的关键词就是采用余弦距离计算得出的。
KD 树
其实从上文你也能看出来，KNN 的计算过程是大量计算样本点之间的距离。为了减少计算距离次数，提升 KNN 的搜索效率，人们提出了 KD 树（K-Dimensional 的缩写）。KD 树是对数据点在 K 维空间中划分的一种数据结构。在 KD 树的构造中，每个节点都是 k 维数值点的二叉树。既然是二叉树，就可以采用二叉树的增删改查操作，这样就大大提升了搜索效率。
在这里，我们不需要对 KD 树的数学原理
了解太多，你只需要知道它是一个二叉树的数据结构，方便存储 K 维空间的数据就可以了。而且在 sklearn 中，我们直接可以调用 KD 树，很方便。
用 KNN 做回归
KNN 不仅可以做分类，还可以做回归。首先讲下什么是回归。在开头电影这个案例中，如果想要对未知电影进行类型划分，这是一个分类问题。首先看一下要分类的未知电影，离它最近的 K 部电影大多数属于哪个分类，这部电影就属于哪个分类。
如果是一部新电影，已知它是爱情片，想要知道它的打斗次数、接吻次数可能是多少，这就是一个回归问题。
那么 KNN 如何做回归呢？
对于一个新电影 X，我们要预测它的某个属性值，比如打斗次数，具体特征属性和数值如下所示。此时，我们会先计算待测点（新电影 X）到已知点的距离，选择距离最近的 K 个点。假设 K=3，此时最近的 3 个点（电影）分别是《战狼》，《红海行动》和《碟中谍 6》，那么它的打斗次数就是这 3 个点的该属性值的平均值，即 (100+95+105)/3=100 次。
总结
今天我给你讲了 KNN 的原理，以及 KNN 中的几个关键因素。比如针对 K 值的选择，我们一般采用交叉验证的方式得出。针对样本点之间的距离的定义，常用的有 5 种表达方式，你也可以自己来定义两个样本之间的距离公式。不同的定义，适用的场景不同。比如在搜索关键词推荐中，余弦距离是更为常用的。
另外你也可以用 KNN 进行回归，通过 K 个邻居对新的点的属性进行值的预测。
KNN 的理论简单直接，针对 KNN 中的搜索也有相应的 KD 树这个数据结构。KNN 的理论成熟，可以应用到线性和非线性的分类问题中，也可以用于回归分析。
不过 KNN 需要计算测试点与样本点之间的距离，当数据量大的时候，计算量是非常庞大的，需要大量的存储空间和计算时间。另外如果样本分类不均衡，比如有些分类的样本非常少，那么该类别的分类准确率就会低很多。
当然在实际工作中，我们需要考虑到各种可能存在的情况，比如针对某类样本少的情况，可以增加该类别的权重。
同样 KNN 也可以用于推荐算法，虽然现在很多推荐系统的算法会使用 TD-IDF、协同过滤、Apriori 算法，不过针对数据量不大的情况下，采用 KNN 作为推荐算法也是可行的。
⑩ python代码如何应用系统聚类和K-means聚类法进行聚类分析 然后选择变量，建立适当的模型
-Means聚类算法
k-means算法以k为参数，把n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。
随机选择k个点作为初始的聚类中心。
对于剩下的点，根据其与聚类中心的距离，将其归入最近的簇。
对每个簇，计算所有点的均值作为新的聚类中心。
重复2，3直到聚类中心不再发生改变
Figure 1
K-means的应用
数据介绍：
现有1999年全国31个省份城镇居民家庭平均每人全年消费性支出的八大主要变量数据，这八大变量分别是：食品、衣着、家庭设备用品及服务、医疗保健、交通和通讯、娱乐教育文化服务、居住以及杂项商品和服务。利用已有数据，对31个省份进行聚类。
实验目的：
通过聚类，了解1999年各个省份的消费水平在国内的情况。
技术路线：
sklearn.cluster.Kmeans
数据实例：