① R语言之决策树和随机森林
R语言之决策树和随机森林
总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。
一、特征生成：
特征生成是指在收集数据之时原始数据就具有的数据特征，这些数据特征由收集的数据决定（其实也就是在产品定型时设定的需要收集的数据特征），当然，在数据预处理时，也可以在此基础上构造一些新的数据特征，这些特征越多越好，表示你考虑问题比较周全，具体那些变量有用或没用，这要交给下一步特征选择来决定。
二、特征选择
特征选择是指在原有数据特征的基础上，去除重要性比较低的特征变量，过滤出有用的特征变量。这里比较困难的是搞清楚什么样的特征比较重要？这需要根据具体的问题具体分析，有些变量的选择可以很直观的看出来，但这种直觉也不一定正确。对于常用特征选择方法主要有：过滤型、包装型、内嵌型。
过滤型：是指你可以根据某个统计量的大小排序来选择特征变量，如相关系数、p值、R值等
包装型：是指在一个特征集合中选取最优的特征子集。具体需要考虑：用什么样的算法来选取？选取的最优的标准是什么？
常用的算法是分步回归包括向前搜索、向后删除、双向搜索
向前搜索：每次选取一个能使模型预测或分类效果最好的特征变量进来，进来后不退出，直到模型改善效果不再明显；
向后删除：是指每次从特征全集中每次删除一个特征变量能使模型预测或分类效果最好，退出后不进来，直到模型改善效果不再明显；
双向搜索：是指每次每次删除一个特征变量或加入一个特征变量能使模型预测或分类效果最好，退出的不进来，进来的不退出，直到模型改善效果不再明显；
这里再提一下特征变量选择的几个标准：p值、R值、AIC（越小效果越好）、BIC（越小效果越好）、熵（越小效果越好）
内嵌型：这里应该主要就是像决策树这样的情况，算法内部完成特征变量的选取。
三、决策树
决策的几个要点：1、如何决策？（也就是如何树如何分叉）------熵和信息增益---这里面包含的就是特征的选择？哪个特征变量包含的信息量大，就排在前面，至于最后树的深度就决定特征变量的个数。
当然不同的算法使用的衡量的标准不同，还有：信息增益比、基尼不纯系数
2、如何剪枝？-----一般是事后剪枝
3、连续性变量如何离散化？-----阈值的选择
熵：是指信息的混合程度（混乱程度），熵【0-1】越大表示该集合中混合的信息越多，也就表明这次的分叉效果不好还是有很多不同类的信息混在一起
信息增益：熵值的减少量，越大越好
决策树模型特点：模型易于解释；存储空间较小，以树的形式存储，决策树是一个弱分类器，不能完全分类，需要把多个弱分类器通过多数投票法组合在一起。
四、R包实现决策树
library(rpart)
library(rpart.plot)
## rpart.control对树进行一些设置
## xval是10折交叉验证
## minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止
## minbucket：叶子节点最小样本数
## maxdepth：树的深度
## cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度
ct <- rpart.control(xval=10, minsplit=20, cp=0.1)
## kyphosis是rpart这个包自带的数据集
## na.action：缺失数据的处理办法，默认为删除因变量缺失的观测而保留自变量缺失的观测。
## method：树的末端数据类型选择相应的变量分割方法:
## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”
## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法（gini和information）
## cost是损失矩阵，在剪枝的时候，叶子节点的加权误差与父节点的误差进行比较，考虑损失矩阵的时候，从将“减少-误差”调整为“减少-损失”
data("Kyphosis")
fit <- rpart(Kyphosis~Age + Number + Start,data=kyphosis, method="class",control=ct,parms = list(prior = c(0.65,0.35), split = "information"));
## 作图有2种方法
## 第一种：
par(mfrow=c(1,3));plot(fit); text(fit,use.n=T,all=T,cex=0.9)
## 第二种，这种会更漂亮一些：
rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102,
shadow.col="gray", box.col="green",
border.col="blue", split.col="red",
split.cex=1.2, main="Kyphosis决策树");
## rpart包提供了复杂度损失修剪的修剪方法，printcp会告诉分裂到每一层，cp是多少，平均相对误差是多少
## 交叉验证的估计误差（“xerror”列），以及标准误差(“xstd”列)，平均相对误差=xerror±xstd
printcp(fit)
## 通过上面的分析来确定cp的值
##调用CP（complexity parameter）与xerror的相关图，一种方法是寻找最小xerror点所对应
#的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。
plotcp(fit)
##利用以下方法进行修剪：
## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])
fit2 <- prune(fit, cp=0.01)
#利用模型预测
ndata=data.frame(...)
predict(fit,newdata=ndata)
#案例
str(iris)
set.seed(1234)#设置随机数种子--使每次运行时产生的一组随机数相同，便于结果的重现
#抽样：从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集（常用）
#这里是对行抽样,ind是一个只含1和2的向量
ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))
trainData <- iris[ind==1,]
testData <- iris[ind==2,]
f<-Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width
#训练数据
fit<-rpart(f,trainData)
#预测
re<-predict(fit,testData)
#******************或者用其他包********************
library(party)
#建立决策树模型预测花的种类
myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width
iris_ctree <- ctree(myFormula, data=trainData)
# 查看预测的结果
z<-table(predict(iris_ctree), trainData$Species)
#可以根据以上列联表求出预测的正确率---评估模型
#计算准确度
q<-sum(diag(z))/sum(z)
五、机器集成与随机森林法则
前面说过，决策树的一个特点是：弱分类器，分类不完全，需要利用集成投票的方式来增加精确度和稳健性。
机器集成算法：对于数据集训练多个模型，对于分类问题，可以采用投票的方法，选择票数最多的类别作为最终的类别，而对于回归问题，可以采用取均值的方法，取得的均值作为最终的结果。主要的集成算法有bagging和adaboost算法。
随机森林：随机森林就是利用机器集成多个决策树，主要有两个参数，一个是决策树的个数，一个是每棵树的特征变量个数。
随机森林特点：精确度高、稳健性好，但可解释性差。(可以知道各个变量的重要性)
R包实现机器集成算法：
#adabag包均有函数实现bagging和adaboost的分类建模
#利用全部数据建模
library(adabag)
a<-boosting(Species~.,data=iris)
z0<-table(iris[,5],predict(a,iris)$class)
#计算误差率
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
barplot(a$importance)
b<-errorevol(a,iris)#计算全体的误差演变
plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图
a<-bagging(Species~.,data=iris)
z0<-table(iris[,5],predict(a,iris)$class)
#计算误差率
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
barplot(a$importance)
b<-errorevol(a,iris)#计算全体的误差演变
plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图
#5折交叉验证
set.seed(1044) #设定随机种子
samp=c(sample(1:50,25),sample(51:100,25),sample(101:150,25)) #进行随机抽样
a=boosting(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模
z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果
z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
E1<-(sum(z0)-sum(diag(z0)))/sum(z1)
a=bagging(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模
z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果
z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
E1<-(sum(z0)-sum(diag(z0)))/sum(z1)
R包实现随机森林：
#随机森林法则
library(randomForest)
library(foreign)
data("iris")
#抽样数据
ind<-sample(2,nrow(iris),replace = TRUE,prob=c(0.7,0.3))
traning<-iris[ind==1,]
testing<-iris[ind==2,]
#训练数据
rf <- randomForest(Species ~ ., data=traning, ntree=100, proximity=TRUE)
#预测
table(predict(rf),traning$Species)
table(predict(rf,testing),testing$Species)
#查看预测的效果
print(rf)
plot(rf)
#查看重要性
importance(rf)
varImpPlot(rf)
② R语言进行PCoA分析
#PCoA 分析在R语言中进行主要依赖于以下得包，进行这个分析得主要可以应用于形态学数据得相似与差异性分析。
library(ade4)
library(ggplot2)
library(RColorBrewer)
library(vegan)
这里我们使用R自带得数据iris
data(iris)
在R语言中通常都会使用这个数据进行案例分析
#iris
data(iris)
iris
data01<-iris[,-5]#数据预处理，去掉最后一列得数据标签
data01
dis01<-vegdist(data01,method = "euclidean")#这里是为了算矩阵距离，方法根据数据选择合适得方法
dis01
pcoa1<- di.pco(dis01, scan = FALSE,nf=3)#进行PCoA分析
pcoa1
pcoa1_eig<-pcoa1$eig[1:2]/sum(pcoa1$eig)#算一下前两列对整个数据得解释比例
pcoa1_eig
samplesite1<-data.frame({pcoa1$li})[1:2]#将前两列的数据分析结果放到sample_site1里面
sample_site1
sample_site1$names<-rownames(sample_site1)#设置名称
sample_site1$names
iris$Species
sample_site1$level<-factor(iris$Species,levels = c("setosa","versicolor","virginica"))#设置level的标签
sample_site1$level
names(sample_site1)[1:2]<-c("PCoA1","PCoA2")
p<-ggplot(sample_site1, mapping=aes(PCoA1, PCoA2,color=level))+theme_classic()
p<-p+geom_point()#绘制散点图
p
③ 【R语言 第3篇】用R进行主成分分析
主成分分析和探索性因子分析是两种用来探索和简化多变量复杂关系的常用方法。
主成分分析（PCA）是一种将数据降维技巧，它将大量相关变量转化成一组很少的不相关变量，这些无相关变量称为主成分。
探索性因子分析（EFA）是一系列用来发现一组变量的潜在结构的方法。
R基础安装包提供了PCA和EFA的函数，分别是princomp()和factanal()。本章重点介绍psych包中提供的函数，该包提供了比基础函数更丰富和有用的选项。
最常见步骤
1、数据预处理，在计算前请确保数据没有缺失值；
2、选择因子模型，是选择PCA还是EFA，如果选择EFA，需要选择一种估计因子模型，如最大似然法估计；
3、判断要选择的主成分/因子数目；
4、选择主成分/因子；
5、旋转主成分/因子；
6、解释结果；
7、计算主成分或因子得分。
加载psych包
library(ggplot2)
library(psych)
展示基于观测特征值的碎石检验、根据100个随机数据矩阵推导出来的特征值均值、以及大于1的特征值准则（Y=1的水平线）
fa.parallel(USJudgeRatings[, -1], fa = "pc", n.iter = 100, show.legend = FALSE, main = 'Scree plot with parallel analysis')
对数据USJudgeRatings进行主成分分析
pc<-principal(USJudgeRatings[, -1],nfactors=1)
pc
④ R语言中的特殊值及缺失值NA的处理方法
R语言中存在一些空值（null-able values），当我们进行数据分析时，理解这些值是非常重要的。
通常来说，R语言中存在：
这四种数据类型在R中都有相应的函数用以判断。
NA即Not available，是一个 长度为1的逻辑常数 ，通常代表缺失值。NA可以被强制转换为任意其他数据类型的向量。
可以采用is.na()进行判断。另外，NA和“NA”不可以互换。
NULL是一个 对象（object） ，当 表达式或函数产生无定义的值 或者 导入数据类型未知的数据 时就会返回NULL。
可以采用is.null()进行判断。
NaN即Not A Number，是一个 长度为1的逻辑值向量 。
可以采用is.nan()进行判断。另外，我们可以采用is.finite()或is.infinite()函数来判断元素是有限的还是无限的，而对NaN进行判断返回的结果都是False。
Inf即Infinity无穷大，通常代表一个很大的数或以0为除数的运算结果，Inf说明数据并没有缺失（NA）。
可以采用is.finite()或is.finite()进行判断。
理解完四种类型数值以后，我们来看看该采取什么方法来处理最最常见的缺失值NA。
小白学统计在推文《有缺失值怎么办？系列之二：如何处理缺失值》里说“ 处理缺失值最好的方式是什么？答案是：没有最好的方式。或者说，最好的方式只有一个，预防缺失，尽量不要缺失。 ”
在缺失数很少且数据量很大的时候，直接删除法的效率很高，而且通常对结果的影响不会太大。
如数据框df共有1000行数据，有10行包含NA，不妨直接采用函数na.omit()来去掉带有NA的行，也可以使用tidyr包的drop_na()函数来指定去除哪一列的NA。
用其他数值填充数据框中的缺失值NA。
使用tidyr包的replace_na()函数。
使用tidyr包的fill()函数将上/下一行的数值填充至选定列中NA。
除此之外，类似原理的填充法还有均值填充法（用该变量的其余数值的均值来填充）、LOCF（last observation carried forward）、BOCF（baseline observation carried forward）、WOCF（worst observation carried forward）等。
当分类自变量出现NA时，把缺失值单独作为新的一类。
在性别中，只有男和女两类，虚拟变量的话以女性为0，男性为1。如果出现了缺失值，可以把缺失值赋值为2，单独作为一类。由于将缺失值赋值，在统计时就不会把它当做缺失值删除，避免了由于这一个变量缺失而导致整个观测值被删除的情况。
假定有身高和体重两个变量，要填补体重的缺失值，我们可以把体重作为因变量，建立体重对身高的回归方程，然后根据身高的非缺失值，预测体重的缺失值。
参考资料：
⑤ R语言游戏数据分析与挖掘：为什么要对游戏进行分析
本书从实际应用出发，结合实例及应用场景，通过对大量案例进行详细阐述和深入分析，进而指导读者在实际工作中通过R语言对 游戏 数据进行分析和挖掘。这是一本关于数据分析实战的书籍，里面的知识、方法、理论是可以直接应用到整个互联网的。
全书一共13章，分为三篇：基础篇、实战篇和提高篇。
第一篇是基础篇（第1~4章）： 介绍了 游戏 数据分析的基本理论知识、R语言的安装与使用、R语言中的数据结构、常用操作和绘图功能。
第1章主要介绍了 游戏 数据分析的必要性和流程；第2章讲解了R语言和RStudio的安装及使用方法，并对数据对象和数据导入进行了介绍；第3章介绍了R语言绘图基础，包括常用图形参数设置、低级绘图函数和高级绘图函数；第4章介绍了lattice和ggplot2绘图包，并详细介绍了一些基于R语言可用于生成交互式图形的软件包，包括rCharts、recharts、rbokeh、plotly等。
第二篇是实战篇（第5~11章）： 主要介绍了 游戏 数据的预处理、常用分析方法、玩家路径分析和用户分析。
第5章介绍了 游戏 数据预处理常用的手段，包括数据抽样、数据清洗、数据转换和数据哑变量处理；第6章介绍了 游戏 数据分析的常用方法，包括指标数据可视化、 游戏 数据趋势分析、 游戏 数据相关性分析和 游戏 数据中的降维技术；第7章介绍了事件点击行为常用的漏斗分析和路径分析；第8章介绍了留存指标的计算、留存率计算与预测、常用分类算法原理和模型评估；第9章介绍了常用用户指标计算、LTV计算与预测、用户物品购买关联分析、基于用户物品购买智能推荐和 社会 网络分析；第10章介绍了渠道数据分析的必要性和对渠道用户进行质量评级；第11章介绍了常用收入指标计算、利用用户活跃度衡量 游戏 经济状况、RFM模型研究。
第三篇是提高篇（第12~13章）： 介绍了R语言图形界面工具Rattle和Web开发框架shiny包。
第12章介绍了R语言的图形界面工具Rattle，该工具能够在图形化的界面上完成数据导入、数据 探索 、数据可视化、数据建模和模型评估整个数据挖掘流程；第13章介绍了Web开发框架shiny包，使得R的使用者不必太了解CSS、JS，只需要了解一些HTML的知识就可以快速完成Web开发。
关键词： 程序语言，程序设计
完整课程可前往UWA学堂《R语言 游戏 数据分析与挖掘》阅读。
https://e.uwa4d.com/course-intro/0/383
随着 游戏 市场竞争的日趋激烈，在如何获得更大收益延长 游戏 周期的问题上，越来越多的手机 游戏 开发公司开始选择借助大数据，以便挖掘更多更细的用户群来进行精细化、个性化的运营。数据分析重要的不是提供 历史 和现状，而是通过分析发现手机 游戏 现状，以及对未来进行预测。一切以数据出发，用数据说话，让数据更好地指导运营服务好玩家，对玩家的行为和体验不断进行分析和调整，使玩家可以在虚拟世界中得到各方面的满足。要实现这个目的，需要搭建专业的数据化运营团队。此外， 游戏 数据分析与其他行业的数据分析不同的是， 游戏 综合了经济、广告、社交、心理等方面的内容，这就对数据分析师提出了更高的要求。
伴随着 游戏 互联网的快速发展和智能终端的普及，移动 游戏 进入了全民时代。越来越多的玩家利用碎片化时间进行 游戏 ，使得 游戏 数据呈现井喷式增长，同时也对数据存储技术、计算能力、数据分析手段提出了更高的要求。海量数据的存储是必须面对的第一个挑战，随着分布式技术的逐渐成熟，越来越多的互联网企业采用分布式的服务器集群 分布式存储的海量存储器进行数据的存储和计算，从而解决数据存储和计算能力不足的问题。如何在海量的、复杂高维的 游戏 数据中发掘出有价值的知识，将是很多公司下一步亟待解决的难题。
虽然积累了海量的玩家数据，很多公司也开发了自己的BI报表系统，但是多数停留在“看数据”阶段，还是用传统的数据分析方法对数据进行简单的加工、统计及展示，并没有进行深度挖掘发现数据背后的规律和把握未来趋势。正是在这样的大背景下， 游戏 数据分析逐渐在 游戏 行业中变得重要。公司需要从传统的粗放型运营进化到精细化运营，从而了解如何有效地获取用户、评估效果；如何激活用户、评估产品质量；如何提升收益，并挖掘潜在的高价值用户。要满足精细化运营的需求，数据化运营就应运而生了。数据化运营就是在以海量数据的存储、分析、挖掘和应用的核心技术支持的基础上，通过可量化、可细分、可预测等一系列精细化的方式来进行的。
数据化运营是飞速发展的数据存储技术、数据挖掘技术等诸多先进数据技术直接推动的结果。数据技术的飞速发展，使数据存储成本大大减低，同时提供了成熟的数据挖掘算法和工具让公司可以去尝试海量数据的分析、挖掘、提炼和应用。有了数据分析、数据挖掘的强有力支持，运营不再靠“拍脑袋”，可以真正做到运营过程自始至终都心中有数。比如，在玩家的细分推送中，数据分析师利用数据挖掘手段对玩家进行分群，运营根据不同的用户群制定差异化策略，数据分析师再根据推送效果进行评估。
完整课程可前往UWA学堂《R语言 游戏 数据分析与挖掘》阅读。
https://e.uwa4d.com/course-intro/0/383
1、 游戏 数据分析师
2、 游戏 产品运营人员
3、产品数据挖掘
⑥ 《R语言实战》自学笔记71-主成分和因子分析
主成分分析
主成分分析（(Principal Component Analysis，PCA）是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变量，这些无关变量称为主成分（原来变量的线性组合）。整体思想就是化繁为简，抓住问题关键，也就是降维思想。
主成分分析法是通过恰当的数学变换，使新变量——主成分成为原变量的线性组合，并选取少数几个在变差总信息量中比例较大的主成分来分析事物的一种方法。主成分在变差信息量中的比例越大，它在综合评价中的作用就越大。
因子分析
探索性因子分析法（Exploratory Factor Analysis，EFA）是一系列用来发现一组变量的潜在结构的方法。它通过寻找一组更小的、潜在的或隐藏的结构来解释已观测到的、显式的变量间的关系。
PCA与EFA模型间的区别
参见图14-1。主成分（PC1和PC2）是观测变量（X1到X5）的线性组合。形成线性组合的权重都是通过最大化各主成分所解释的方差来获得，同时还要保证个主成分间不相关。相反，因子（F1和F2）被当做是观测变量的结构基础或“原因”，而不是它们的线性组合。
R的基础安装包提供了PCA和EFA的函数，分别为princomp()和factanal()。
最常见的分析步骤
(1)数据预处理。PCA和EFA都根据观测变量间的相关性来推导结果。用户可以输入原始数据矩阵或者相关系数矩阵到principal()和fa()函数中。若输入初始数据，相关系数矩阵将会被自动计算，在计算前请确保数据中没有缺失值。
(2)选择因子模型。判断是PCA（数据降维）还是EFA（发现潜在结构）更符合你的研究目标。如果选择EFA方法，你还需要选择一种估计因子模型的方法（如最大似然估计）。
(3)判断要选择的主成分/因子数目。
(4)选择主成分/因子。
(5)旋转主成分/因子。
(6)解释结果。
(7)计算主成分或因子得分。
PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量称为主成分，它们是观测变量的线性组合。如第一主成分为：
它是k个观测变量的加权组合，对初始变量集的方差解释性最大。第二主成分也是初始变量的线性组合，对方差的解释性排第二，同时与第一主成分正交（不相关）。后面每一个主成分都最大化它对方差的解释程度，同时与之前所有的主成分都正交。理论上来说，你可以选取与变量数相同的主成分，但从实用的角度来看，我们都希望能用较少的主成分来近似全变量集。
主成分与原始变量之间的关系
（1）主成分保留了原始变量绝大多数信息。
（2）主成分的个数大大少于原始变量的数目。
（3）各个主成分之间互不相关。
（4）每个主成分都是原始变量的线性组合。
数据集USJudgeRatings包含了律师对美国高等法院法官的评分。数据框包含43个观测，12个变量。
用来判断PCA中需要多少个主成分的准则：
根据先验经验和理论知识判断主成分数；
根据要解释变量方差的积累值的阈值来判断需要的主成分数；
通过检查变量间k × k的相关系数矩阵来判断保留的主成分数。
最常见的是基于特征值的方法。每个主成分都与相关系数矩阵的特征值相关联，第一主成分与最大的特征值相关联，第二主成分与第二大的特征值相关联，依此类推。
Kaiser-Harris准则建议保留特征值大于1的主成分，特征值小于1的成分所解释的方差比包含在单个变量中的方差更少。Cattell碎石检验则绘制了特征值与主成分数的图形。这类图形可以清晰地展示图形弯曲状况，在图形变化最大处之上的主成分都可保留。最后，你还可以进行模拟，依据与初始矩阵相同大小的随机数据矩阵来判断要提取的特征值。若基于真实数据的某个特征值大于一组随机数据矩阵相应的平均特征值，那么该主成分可以保留。该方法称作平行分析。
图形解读：线段和x符号组成的图（蓝色线）：特征值曲线；
红色虚线：根据100个随机数据矩阵推导出来的平均特征值曲线；
绿色实线：特征值准则线（即：y=1的水平线）
判别标准：特征值大于平均特征值，且大于y=1的特征值准则线，被认为是可保留的主成分。根据判别标准，保留1个主成分即可。
fa.parallel函数学习
fa.parallel(data,n.obs=,fa=”pc”/”both”,n.iter=100,show.legend=T/F)
data：原始数据数据框；
n.obs：当data是相关系数矩阵时，给出原始数据（非原始变量）个数，data是原始数据矩阵时忽略此参数；
fa：“pc”为仅计算主成分，“fa”为因子分析，“both”为计算主成分及因子；
n.iter：模拟平行分析次数；
show.legend：显示图例。
principal(r, nfactors = , rotate = , scores = )
r：相关系数矩阵或原始数据矩阵；
nfactors：设定主成分数（默认为1）；
rotate：指定旋转的方法，默认最大方差旋转（varimax）。
scores：设定是否需要计算主成分得分（默认不需要）。
PC1栏包含了成分载荷，指观测变量与主成分的相关系数。如果提取不止一个主成分，那么还将会有PC2、PC3等栏。成分载荷（component loadings）可用来解释主成分的含义，解释主成分与各变量的相关程度。
h2栏为成分公因子方差，即主成分对每个变量的方差解释度。
u2栏为成分唯一性，即方差无法被主成分解释的部分（1-h2）。
SS loadings包含了与主成分相关联的特征值，其含义是与特定主成分相关联的标准化后的方差值，即可以通过它来看90%的方差可以被多少个成分解释，从而选出主成分（即可使用nfactors=原始变量个数来把所有特征值查出，当然也可以直接通过eigen函数对它的相关矩阵进行查特征值）。
Proportion Var表示每个主成分对整个数据集的解释程度。
Cumulative Var表示各主成分解释程度之和。
Proportion Explained及Cumulative Proportion分别为按现有总解释方差百分比划分主成分及其累积百分比。
结果解读：第一主成分（PC1）与每个变量都高度相关，也就是说，它是一个可用来进行一般性评价的维度。ORAL变量99.1%的方差都可以被PC1来解释，仅仅有0.91%的方差不能被PC1解释。第一主成分解释了11个变量92%的方差。
结果解读：通过碎石图可以判定选择的主成分个数为2个。
结果解读：从结果Proportion Var： 0.58和0.22可以判定，第一主成分解释了身体测量指标58%的方差，而第二主成分解释了22%，两者总共解释了81%的方差。对于高度变量，两者则共解释了其88%的方差。
旋转是一系列将成分载荷阵变得更容易解释的数学方法，它们尽可能地对成分去噪。旋转方法有两种：使选择的成分保持不相关（正交旋转），和让它们变得相关（斜交旋转）。旋转方法也会依据去噪定义的不同而不同。最流行的正交旋转是方差极大旋转，它试图对载荷阵的列进行去噪，使得每个成分只是由一组有限的变量来解释（即载荷阵每列只有少数几个很大的载荷，其他都是很小的载荷）。 结果列表中列的名字都从PC变成了RC，以表示成分被旋转。
当scores = TRUE时，主成分得分存储在principal()函数返回对象的scores元素中。
如果你的目标是寻求可解释观测变量的潜在隐含变量，可使用因子分析。
EFA的目标是通过发掘隐藏在数据下的一组较少的、更为基本的无法观测的变量，来解释一
组可观测变量的相关性。这些虚拟的、无法观测的变量称作因子。（每个因子被认为可解释多个
观测变量间共有的方差，因此准确来说，它们应该称作公共因子。）
其中 是第i个可观测变量（i = 1…k）， 是公共因子（j = 1…p），并且p<k。 是 变量独有的部分（无法被公共因子解释）。 可认为是每个因子对复合而成的可观测变量的贡献值。
碎石检验的前两个特征值（三角形）都在拐角处之上，并且大于基于100次模拟数据矩阵的特征值均值。对于EFA，Kaiser-Harris准则的特征值数大于0，而不是1。
结果解读：PCA结果建议提取一个或者两个成分，EFA建议提取两个因子。
fa(r, nfactors=, n.obs=, rotate=, scores=, fm=)
r是相关系数矩阵或者原始数据矩阵；
nfactors设定提取的因子数（默认为1）；
n.obs是观测数（输入相关系数矩阵时需要填写）；
rotate设定旋转的方法（默认互变异数最小法）；
scores设定是否计算因子得分（默认不计算）；
fm设定因子化方法（默认极小残差法）。
与PCA不同，提取公共因子的方法很多，包括最大似然法（ml）、主轴迭代法（pa）、加权最小二乘法（wls）、广义加权最小二乘法（gls）和最小残差法（minres）。统计学家青睐使用最大似然法，因为它有良好的统计性质。
结果解读：两个因子的Proportion Var分别为0.46和0.14，两个因子解释了六个心理学测试60%的方差。
结果解读：阅读和词汇在第一因子上载荷较大，画图、积木图案和迷宫在第二因子上载荷较大，非语言的普通智力测量在两个因子上载荷较为平均，这表明存在一个语言智力因子和一个非语言智力因子。
正交旋转和斜交旋转的不同之处。
对于正交旋转，因子分析的重点在于因子结构矩阵（变量与因子的相关系数），而对于斜交旋转，因子分析会考虑三个矩阵：因子结构矩阵、因子模式矩阵和因子关联矩阵。
因子模式矩阵即标准化的回归系数矩阵。它列出了因子预测变量的权重。因子关联矩阵即因子相关系数矩阵。
图形解读：词汇和阅读在第一个因子（PA1）上载荷较大，而积木图案、画图和迷宫在第二个因子（PA2）上载荷较大。普通智力测验在两个因子上较为平均。
与可精确计算的主成分得分不同，因子得分只是估计得到的。它的估计方法有多种，fa()函数使用的是回归方法。
R包含了其他许多对因子分析非常有用的软件包。FactoMineR包不仅提供了PCA和EFA方法，还包含潜变量模型。它有许多此处我们并没考虑的参数选项，比如数值型变量和类别型变量的使用方法。FAiR包使用遗传算法来估计因子分析模型，它增强了模型参数估计能力，能够处理不等式的约束条件，GPArotation包则提供了许多因子旋转方法。最后，还有nFactors包，它提供了用来判断因子数目的许多复杂方法。
主成分分析
1.数据导入
数据结构：对10株玉米进行了生物学性状考察，考察指标有株高，穗位，茎粗，穗长，秃顶，穗粗，穗行数，行粒数。
结果解读：选择2个主成分即可保留样本大量信息。
3.提取主成分
结果解读：主成分1可解释44%的方差，主成分2解释了26%的方差，合计解释了70%的方差。
4.获取主成分得分
5.主成分方程
PC1 = 0.27 株高 - 0.04 穗位 + 0.29 茎粗 - 0.01 穗长 - 0.21 秃顶 - 0.13 穗粗 + 0.16 穗行数 + 0.24 行粒数
PC2 = -0.01 株高 + 0.36 穗位 - 0.10 茎粗 + 0.41 穗长 - 0.08 秃顶 + 0.43 穗粗 - 0.15 穗行数 + 0.01 行粒数
图形解读：此图反映了变量与主成分的关系，三个蓝点对应的RC2值较高，点上的标号2，4，6对应变量名穗位，穗长，穗粗，说明第2主成分主要解释了这些变量，与这些变量相关性强；黑点分别对应株高，茎粗，穗行数，行粒数，说明第一主成分与这些变量相关性强，第一主成分主要解释的也是这些变量，而5号点秃顶对于两个主成分均没有显示好的相关性。
因子分析
图解：可以看到需要提取4个因子。
2.提取因子
结果解读：因子1到4解释了80%的方差。
3.获取因子得分
图解：可以看出，因子1和因子2的相关系数为0.4，行粒数，株高，茎粗，秃顶在因子1的载荷较大，穗长，穗位在因子2上的载荷较大；因子3只有穗行数相关，因子4只有穗粗相关。
参考资料：
⑦ 有了处理excel数据的R语言代码如何应用
数据科学和机器学习是该时代最需求的技术，这一需求促使每个人都学习不同的库和软件包以实现它们。这篇博客文章将重点介绍用于数据科学和机器学习的Python库。这些是您掌握市场上最被炒作的两项技能的库。
以下是此博客中将涉及的主题列表：
数据科学与机器学习导论为什么要使用Python进行数据科学和机器学习？用于数据科学和机器学习的Python库用于统计的Python库用于可视化的Python库用于机器学习的Python库深度学习的Python库用于自然语言处理的Python库数据科学与机器学习导论
当我开始研究数据科学和机器学习时，总是有这个问题困扰我最大。是什么导致围绕这两个话题的热门话题？
嗡嗡声与我们生成的数据量有很大关系。数据是驱动ML模型所需的燃料，并且由于我们处在大数据时代，因此很清楚为什么将数据科学视为该时代最有希望的工作角色！
我会说数据科学和机器学习是技能，而不仅仅是技术。它们是从数据中获得有用的见解并通过建立预测模型解决问题所需的技能。
从形式上来讲，这就是两者的定义方式。
数据科学是从数据中提取有用信息以解决实际问题的过程。
机器学习是使机器学习如何通过提供大量数据来解决问题的过程。
这两个域是高度互连的。
机器学习是数据科学的一部分，它利用ML算法和其他统计技术来了解数据如何影响和发展业务。
为什么要使用Python？
Python在用于实现机器学习和数据科学的最流行的编程语言中排名第一。让我们了解为什么。
易于学习：Python使用非常简单的语法，可用于实现简单的计算，例如将两个字符串添加到复杂的过程中，例如构建复杂的ML模型。更少的代码：实施数据科学和机器学习涉及无数的算法。得益于Python对预定义包的支持，我们不必编写算法。为了使事情变得更容易，Python提供了一种“在编码时检查”的方法，从而减轻了测试代码的负担。预建库：Python有100多个预建库，用于实现各种ML和深度学习算法。因此，每次您要在数据集上运行算法时，只需要做的就是用单个命令安装和加载必要的程序包。预先构建的库的示例包括NumPy，Keras，Tensorflow，Pytorch等。与平台无关：Python可以在多个平台上运行，包括Windows，macOS，Linux，Unix等。在将代码从一个平台转移到另一个平台时，您可以使用诸如PyInstaller之类的软件包，该软件包将解决所有依赖性问题。大量的社区支持：除拥有大量支持者外，Python还拥有多个社区，团体和论坛，程序员可以在其中发布他们的错误并互相帮助。Python库
Python在AI和ML领域普及的唯一最重要的原因是，Python提供了数千个内置库，这些库具有内置功能和方法，可以轻松地进行数据分析，处理，处理，建模等。 。在下一节中，我们将讨论以下任务的库：
统计分析数据可视化数据建模与机器学习深度学习自然语言处理（NLP）统计分析
统计是数据科学和机器学习的最基本基础之一。所有ML和DL算法，技术等均基于统计的基本原理和概念。
Python附带了大量的库，仅用于统计分析。在此博客中，我们将重点介绍提供内置函数以执行最复杂的统计计算的顶级统计软件包。
这是用于统计分析的顶级Python库的列表：
NumPySciPyPandas统计模型NumPy
NumPy或数值Python是最常用的Python库之一。该库的主要功能是它支持用于数学和逻辑运算的多维数组。NumPy提供的功能可用于索引，分类，整形和传输图像和声波，这些图像和声波是多维实数数组。
以下是NumPy的功能列表：
执行简单到复杂的数学和科学计算对多维数组对象的强大支持以及用于处理数组元素的函数和方法的集合傅里叶变换和数据处理例程执行线性代数计算，这对于机器学习算法（例如线性回归，逻辑回归，朴素贝叶斯等）是必需的。SciPy
SciPy库建立在NumPy之上，是一组子软件包的集合，可帮助解决与统计分析有关的最基本问题。SciPy库用于处理使用NumPy库定义的数组元素，因此它通常用于计算使用NumPy无法完成的数学方程式。
这是SciPy的功能列表：
它与NumPy数组一起使用，提供了一个平台，提供了许多数学方法，例如数值积分和优化。它具有可用于矢量量化，傅立叶变换，积分，插值等子包的集合。提供完整的线性代数函数堆栈，这些函数可用于更高级的计算，例如使用k-means算法的聚类等。提供对信号处理，数据结构和数值算法，创建稀疏矩阵等的支持。Pandas
Pandas是另一个重要的统计库，主要用于统计，金融，经济学，数据分析等广泛领域。该库依赖于NumPy数组来处理Pandas数据对象。NumPy，Pandas和SciPy在执行科学计算，数据处理等方面都严重依赖彼此。
我经常被要求在Pandas，NumPy和SciPy中选择最好的，但是，我更喜欢使用它们，因为它们彼此之间非常依赖。Pandas是处理大量数据的最佳库之一，而NumPy对多维数组具有出色的支持，另一方面，Scipy提供了一组执行大多数统计分析任务的子包。
以下是Pandas的功能列表：
使用预定义和自定义索引创建快速有效的DataFrame对象。它可用于处理大型数据集并执行子集，数据切片，索引等。提供用于创建Excel图表和执行复杂数据分析任务的内置功能，例如描述性统计分析，数据整理，转换，操作，可视化等。提供对处理时间序列数据的支持统计模型
StatsModels Python软件包建立在NumPy和SciPy之上，是创建统计模型，数据处理和模型评估的最佳选择。除了使用SciPy库中的NumPy数组和科学模型外，它还与Pandas集成以进行有效的数据处理。该库以统计计算，统计测试和数据探索而闻名。
以下是StatsModels的功能列表：
NumPy和SciPy库中找不到的执行统计检验和假设检验的最佳库。提供R样式公式的实现，以实现更好的统计分析。它更隶属于统计人员经常使用的R语言。由于它广泛支持统计计算，因此通常用于实现广义线性模型（GLM）和普通最小二乘线性回归（OLM）模型。包括假设检验（零理论）在内的统计检验是使用StatsModels库完成的。因此，它们是用于统计分析的最常用和最有效的Python库。现在让我们进入数据科学和机器学习中的数据可视化部分。
数据可视化
图片说出一千多个单词。我们都听说过关于艺术方面的引用，但是，对于数据科学和机器学习也是如此。
数据可视化就是通过图形表示有效地表达来自数据的关键见解。它包括图形，图表，思维导图，热图，直方图，密度图等的实现，以研究各种数据变量之间的相关性。
在本博客中，我们将重点介绍最好的Python数据可视化软件包，这些软件包提供内置函数来研究各种数据功能之间的依赖关系。
这是用于数据可视化的顶级Python库的列表：
Matplotlib是Python中最基本的数据可视化软件包。它支持各种图形，例如直方图，条形图，功率谱，误差图等。它是一个二维图形库，可生成清晰明了的图形，这对于探索性数据分析（EDA）至关重要。
这是Matplotlib的功能列表：
Matplotlib通过提供选择合适的线条样式，字体样式，格式化轴等功能，使绘制图形变得极为容易。创建的图形可帮助您清楚地了解趋势，模式并进行关联。它们通常是推理定量信息的工具。它包含Pyplot模块，该模块提供了与MATLAB用户界面非常相似的界面。这是Matplotlib软件包的最佳功能之一。提供面向对象的API模块，以使用GUI工具（例如Tkinter，wxPython，Qt等）将图形集成到应用程序中。Matplotlib
Matplotlib库构成了Seaborn库的基础。与Matplotlib相比，Seaborn可用于创建更具吸引力和描述性的统计图。除了对数据可视化的广泛支持外，Seaborn还附带一个面向数据集的内置API，用于研究多个变量之间的关系。
以下是Seaborn的功能列表：
提供用于分析和可视化单变量和双变量数据点以及将数据与其他数据子集进行比较的选项。支持针对各种目标变量的线性回归模型的自动统计估计和图形表示。通过提供执行高级抽象的功能，构建用于构造多图网格的复杂可视化。带有许多内置主题，可用于样式设置和创建matplotlib图Ploty
Ploty是最知名的图形Python库之一。它提供了交互式图形，以了解目标变量和预测变量之间的依赖性。它可以用于分析和可视化统计，财务，商业和科学数据，以生成清晰明了的图形，子图，热图，3D图表等。
这是使Ploty成为最佳可视化库之一的功能列表：
它具有30多种图表类型，包括3D图表，科学和统计图，SVG地图等，以实现清晰的可视化。借助Ploty的Python API，您可以创建由图表，图形，文本和Web图像组成的公共/私有仪表板。使用Ploty创建的可视化以JSON格式序列化，因此您可以在R，MATLAB，Julia等不同平台上轻松访问它们。它带有一个称为Plotly Grid的内置API，该API可让您直接将数据导入Ploty环境。Bokeh
Bokeh是Python中交互性最强的库之一，可用于为Web浏览器构建描述性的图形表示形式。它可以轻松处理庞大的数据集并构建通用图，从而有助于执行广泛的EDA。Bokeh提供定义最完善的功能，以构建交互式绘图，仪表板和数据应用程序。
这是Bokeh的功能列表：
使用简单的命令帮助您快速创建复杂的统计图支持HTML，笔记本和服务器形式的输出。它还支持多种语言绑定，包括R，Python，lua，Julia等。Flask和django也与Bokeh集成在一起，因此您也可以在这些应用程序上表达可视化效果它提供了对转换为其他库（如matplotlib，seaborn，ggplot等）中编写的可视化文件的支持因此，这些是用于数据可视化的最有用的Python库。现在，让我们讨论用于实现整个机器学习过程的顶级Python库。
机器学习
创建可以准确预测结果或解决特定问题的机器学习模型是任何数据科学项目中最重要的部分。
实施ML，DL等涉及对数千行代码进行编码，当您要创建通过神经网络解决复杂问题的模型时，这可能变得更加麻烦。但值得庆幸的是，我们无需编写任何算法，因为Python随附了多个软件包，仅用于实现机器学习技术和算法。
在此博客中，我们将重点介绍提供内置函数以实现所有ML算法的顶级ML软件包。
以下是用于机器学习的顶级Python库的列表：
Scikit-learnXGBoostElI5Scikit-learn
Scikit-learn是最有用的Python库之一，是用于数据建模和模型评估的最佳库。它附带了无数功能，其唯一目的是创建模型。它包含所有有监督的和无监督的机器学习算法，并且还具有用于集合学习和促进机器学习的定义明确的功能。
以下是Scikit学习的功能列表：
提供一组标准数据集，以帮助您开始使用机器学习。例如，着名的Iris数据集和Boston House Price数据集是Scikit-learn库的一部分。用于执行有监督和无监督机器学习的内置方法。这包括解决，聚类，分类，回归和异常检测问题。带有用于特征提取和特征选择的内置功能，可帮助识别数据中的重要属性。它提供了执行交叉验证以评估模型性能的方法，还提供了用于优化模型性能的参数调整功能。XGBoost
XGBoost代表“极端梯度增强”，它是执行Boosting Machine Learning的最佳Python软件包之一。诸如LightGBM和CatBoost之类的库也同样配备了定义明确的功能和方法。建立该库的主要目的是实现梯度提升机，该梯度提升机用于提高机器学习模型的性能和准确性。
以下是其一些主要功能：
该库最初是用C ++编写的，被认为是提高机器学习模型性能的最快，有效的库之一。核心的XGBoost算法是可并行化的，并且可以有效地利用多核计算机的功能。这也使该库足够强大，可以处理大量数据集并跨数据集网络工作。提供用于执行交叉验证，参数调整，正则化，处理缺失值的内部参数，还提供scikit-learn兼容的API。该库经常在顶级的数据科学和机器学习竞赛中使用，因为它一直被证明优于其他算法。ElI5
ELI5是另一个Python库，主要致力于改善机器学习模型的性能。该库相对较新，通常与XGBoost，LightGBM，CatBoost等一起使用，以提高机器学习模型的准确性。
以下是其一些主要功能：
提供与Scikit-learn软件包的集成，以表达功能重要性并解释决策树和基于树的集成的预测。它分析并解释了XGBClassifier，XGBRegressor，LGBMClassifier，LGBMRegressor，CatBoostClassifier，CatBoostRegressor和catboost所做的预测。它提供了对实现多种算法的支持，以便检查黑盒模型，其中包括TextExplainer模块，该模块可让您解释由文本分类器做出的预测。它有助于分析包括线性回归器和分类器在内的scikit学习通用线性模型（GLM）的权重和预测。深度学习
机器学习和人工智能的最大进步是通过深度学习。随着深度学习的介绍，现在可以构建复杂的模型并处理庞大的数据集。幸运的是，Python提供了最好的深度学习软件包，可帮助构建有效的神经网络。
在此博客中，我们将专注于提供用于实现复杂的神经网络的内置功能的顶级深度学习软件包。
以下是用于深度学习的顶级Python库的列表：
TensorFlow是用于深度学习的最佳Python库之一，是一个用于跨各种任务进行数据流编程的开源库。它是一个符号数学库，用于构建强大而精确的神经网络。它提供了直观的多平台编程界面，可在广阔的领域中实现高度扩展。
以下是TensorFlow的一些关键功能：
它允许您构建和训练多个神经网络，以帮助适应大型项目和数据集。除支持神经网络外，它还提供执行统计分析的功能和方法。例如，它带有用于创建概率模型和贝叶斯网络（例如伯努利，Chi2，Uniform，Gamma等）的内置功能。该库提供了分层的组件，这些组件可以对权重和偏差执行分层的操作，并且还可以通过实施正则化技术（例如批标准化，丢包等）来提高模型的性能。它带有一个称为TensorBoard的可视化程序，该可视化程序创建交互式图形和可视化图形以了解数据功能的依赖性。Pytorch
Pytorch是一个基于Python的开源科学计算软件包，用于在大型数据集上实施深度学习技术和神经网络。Facebook积极地使用此库来开发神经网络，以帮助完成各种任务，例如面部识别和自动标记。
以下是Pytorch的一些主要功能：
提供易于使用的API与其他数据科学和机器学习框架集成。与NumPy一样，Pytorch提供了称为Tensors的多维数组，与NumPy不同，它甚至可以在GPU上使用。它不仅可以用于对大型神经网络进行建模，而且还提供了一个界面，具有200多种用于统计分析的数学运算。创建动态计算图，以在代码执行的每个点建立动态图。这些图有助于时间序列分析，同时实时预测销售量。Keras
Keras被认为是Python中最好的深度学习库之一。它为构建，分析，评估和改进神经网络提供全面支持。Keras基于Theano和TensorFlow Python库构建，该库提供了用于构建复杂的大规模深度学习模型的附加功能。
以下是Keras的一些关键功能：
为构建所有类型的神经网络提供支持，即完全连接，卷积，池化，循环，嵌入等。对于大型数据集和问题，可以将这些模型进一步组合以创建完整的神经网络它具有执行神经网络计算的内置功能，例如定义层，目标，激活功能，优化器和大量工具，使处理图像和文本数据更加容易。它带有一些预处理的数据集和经过训练的模型，包括MNIST，VGG，Inception，SqueezeNet，ResNet等。它易于扩展，并支持添加包括功能和方法的新模块。自然语言处理
您是否曾经想过Google如何恰当地预测您要搜索的内容？Alexa，Siri和其他聊天机器人背后的技术是自然语言处理。NLP在设计基于AI的系统中发挥了巨大作用，该系统有助于描述人类语言与计算机之间的交互。
在此博客中，我们将重点介绍提供内置功能以实现基于高级AI的系统的顶级自然语言处理包。
这是用于自然语言处理的顶级Python库的列表：
NLTKspaCyGensimNLTK（自然语言工具包）
NLTK被认为是分析人类语言和行为的最佳Python软件包。NLTK库是大多数数据科学家的首选，它提供易于使用的界面，其中包含50多种语料库和词汇资源，有助于描述人与人之间的互动以及构建基于AI的系统（例如推荐引擎）。
这是NLTK库的一些关键功能：
提供一套数据和文本处理方法，用于文本分析的分类，标记化，词干，标记，解析和语义推理。包含用于工业级NLP库的包装器，以构建复杂的系统，以帮助进行文本分类并查找人类语音的行为趋势和模式它带有描述计算语言学实现的综合指南和完整的API文档指南，可帮助所有新手开始使用NLP。它拥有庞大的用户和专业人员社区，它们提供全面的教程和快速指南，以学习如何使用Python进行计算语言学。spaCy
spaCy是一个免费的开源Python库，用于实现高级自然语言处理（NLP）技术。当您处理大量文本时，重要的是要了解文本的形态学意义以及如何将其分类以理解人类语言。通过spaCY可以轻松实现这些任务。
这是spaCY库的一些关键功能：
除了语言计算外，spaCy还提供了单独的模块来构建，训练和测试统计模型，从而更好地帮助您理解单词的含义。带有各种内置的语言注释，可帮助您分析句子的语法结构。这不仅有助于理解测试，还有助于查找句子中不同单词之间的关系。它可用于对包含缩写和多个标点符号的复杂嵌套令牌应用令牌化。除了非常强大和快速之外，spaCy还提供对51种以上语言的支持。Gensim
Gensim是另一个开源Python软件包，其建模旨在从大型文档和文本中提取语义主题，以通过统计模型和语言计算来处理，分析和预测人类行为。无论数据是原始数据还是非结构化数据，它都有能力处理庞大的数据。
以下是Genism的一些主要功能：
它可用于构建可通过理解每个单词的统计语义来有效分类文档的模型。它带有诸如Word2Vec，FastText，潜在语义分析之类的文本处理算法，这些算法研究文档中的统计共现模式，以过滤掉不必要的单词并构建仅具有重要功能的模型。提供可以导入并支持各种数据格式的I / O包装器和读取器。它具有简单直观的界面，可供初学者轻松使用。API学习曲线也很低，这解释了为什么许多开发人员喜欢此库。
⑧ 53-R语言中缺失值处理方法
缺失值被认为是预测建模的首要障碍，尽管一些机器学习算法声称能够从根本上解决这个问题，但是谁又能知道究竟在“黑盒子”里能解决得多好。
缺失值填补方法的选择，在很大程度上影响了模型的预测能力。一般处理方法是直接删除相关行，但这样并不好，因为会造成信息丢失。
Hmice是一个多用途的软件包，可用于数据分析、高级图形、缺失值处理、高级表格制作、模型拟合和诊断(线性回归、 Logit模型和cox回归)等。 该软件包包含的功能范围广泛，它提供了两个强大的函数，用于处理缺失值。分别为 impute ()和 aregImpute ()。
impute()函数使用用户定义的统计方法(中间值，最大值，平均值等)来估算缺失值。 默认是使用中位数。另一方面，aregImpute()允许使用加性回归、自举和预测平均匹配进行填补（additive regression, bootstrapping, and predictive mean matching）。
bootstrapping对替代原始数据的样本拟合了一个柔性可加模型(非参数回归方法) ，并利用非缺失值(自变量)对缺失值(因变量)进行了预测。然后，使用预测均值匹配(缺省值)来估算缺失值。
使用平均值填充：
使用随机值填充：
同样，还可以使用min,max,median来估算缺失值。
aregImpute ()自动识别变量类型并相应地处理它们：
输出显示预测缺失值的 R 2 值， 数值越高，预测的数值越好。还可以使用以下命令查看估算值：
画个好看一点的图：
估算缺失值：
pmm：预测均值匹配(PMM)-用于数值变量
logreg： (Logit模型)-二元变量
polyreg(Bayesian polytomous regression)：因子变量(>=2个水平)
polr：Proportional odds model(ordered, >= 2 levels)
查看估算的缺失值
由于生成有5个输入数据集，您可以使用 complete ()函数选择任何数据集：
还可以使用5个数据集构建模型，最后将结果合并：
对比一下：
使用生成的6个数据集合并后的回归系数与原始数据的回归系数还是非常接近的。
⑨ 如何用R语言预测话务量
R ARIMA 模型 R自带模型拟合 下载 forecast包，，auto.arima( ) 直接拟合， 然后 forecast（ h=预测期数）行了。
这是对外行人来说的，
但是如果你真的想学好的话，还需要对模型进行着各种检验，特别是残差。
⑩ r语言logistic回归怎么做预测
二元logit回归
1.打开数据，依次点击：analyse--regression--binarylogistic，打开二分回归对话框。
2.将因变量和自变量放入格子的列表里，上面的是因变量，下面的是自变量（单变量拉入一个，多因素拉入多个）。
3.设置回归方法，这里选择最简单的方法：enter，它指的是将所有的变量一次纳入到方程。其他方法都是逐步进入的方法。
4.等级资料，连续资料不需要设置虚拟变量。多分类变量需要设置虚拟变量。
虚拟变量ABCD四类，以a为参考，那么解释就是b相对于a有无影响，c相对于a有无影响，d相对于a有无影响。
5.选项里面至少选择95%CI。
点击ok。