图模型的研究方法

㈠ 1. 概率图模型

对现实世界的不确定性进行建模

1.4 贝叶斯公式
通过上面的加法规则和乘法规则，以及P(X,Y)=P(Y,X)。我们可以得到 贝叶斯公式 ：

其中P（X）为：

贝叶斯公式写成另外的一种常见的符号形式：

其中D表示观察到的数据，也成为Evidence， w表示相应的参数。
p(D|w)表示似然函数(likehood function)。P(w)成为参数w的先验。p(w|D)表示参数w的后验概率。
所以可以得到：

其中

优点：

图模型分为三类。

常用于描述变量之间的因果关系
贝叶斯网络中的联合概率：
p(x)=P(xk|parent)

假设三个变量a,b,c上的联槐档拦合概率分布p(a,b,c).
那么p(a,b,c)=p(c|ba)p(ba)=p(c|ba)p(b|a)p(a)

上面的图是全连接的。但是真实世界中变量之间确实是全连接的吗？
而且真正传递出概率分布性质的有趣信息是图中信息的缺失。
** 为什么呢？**
因为对于全连接的图模型可以用来代表所有的概率分布。这样的状态空间是巨大的。意义不大。
但是对于图中缺少边的模型，则只能对应于具有某些条件独立性质的
概率分布。
比如说：
对于如下的图模型：

非全链接的图模型中包含了相应的领域知识和因果关系。

对于下面一个关于学生成绩的例子。

我们假设各个随机变量出现的概率如下：

有了每个因子的分铅胡布之后， 就可以得到任意的概率分布了。方法就是：使用加法公式和乘积公式。

另外的一个问题是： 对于图模型中的变量怎么快速的知道它们之间是否相互影响。例如：

在左边对应的六种情况下，只有最后一种情况X→W←Y下X的概率不会影响到Y的概率。这是因为W不是被观察变量，其值是未蠢没知的，因此随机变量X的值不会影响随机变量Y的取值。有趣的是，当中间W变量成为被观察变量，上述结论就会发生变化。如下图所示

当WєZ时，即W为观察变量时，所有判断会变得相反。仍然以 X→W← Y 为例，此时W的值已知，比如已知某个学生Grade为B，那么此时学生的聪明程度Intelligence和课程难度Difficulty就不再条件独立了。比如，这种情况下如果课程比较容易，那边学生很聪明的概率较小；反之，若课程很难，则学生很聪明的概率较大。

结论： 概率影响的流动性反应了贝叶斯网络中随机变量条件独立性关系
那么贝叶斯网络中的独立性或者说影响的流动性是如何的呢？

先来看看 ，图模型结构图中，三种常见的本地结构。
一般的如果没有观察变量，见结构1中的图，但是变量c是未知的。 那么：

对两边进行积分或者求和：

因为：

结构2：

可以得到：

结构3：

因为：

考虑一个一般的有向图，其中A，B，C是任意无交集的集合。我们的目的在于希望从图中迅速的观察到在给定C的情况下A与B是否相互独立。考虑A中任意节点到B中任意节点的所有可能路径，如果路径中包含一个满足下面任何一条的节点，那么就认为该路径是被阻隔的。

马尔科夫毯 ：
我们以马尔科夫毯来结束对贝叶斯网络独立性的讨论。考虑如下的图模型：

考虑变量x(i)对应节点上的条件概率分布，其中条件为所有剩余的变量。使用分解性质，可得：

最后与x(i)无关的变量可以提取，进行消除。唯一剩下的因子包括：p(xi|pai)以及p(Xk|Pak)其中xi为xk的父节点。
p(Xk|Pak)不仅仅依赖于xi,还依赖于xk的父节点。
我们可以将马尔科夫毯想象成为将xi与图中剩余部分隔离开的最小集合。

（用于引出贝叶斯概率图模型中的表示）
考虑一个多项式回归的问题：

其中参数w为多项式稀疏，a为超参，t为观测变量。x为输入，另外一个为高斯分布的方差。

概率图模型为了清晰的在图形中表明各种的变量的状态。引入了特殊的表示法：包括观察变量，隐含变量，输入，参数，以及plate的概念。
其他的参考模型：LDA， PLSA模型图。

有了t，我们可以计算w的后验概率：

最终目标是对输入变量进行预测，假设给定一个输入值x^，我们需要预测输出。概率模型图如下：

那么模型的联合分布为：

对w进行积分就可以得到相应的预测值：

图模型描述了生成观测数据的生成式模型。因此这种模型通常被称为生成式模型。
对于概率模型的实际应用，通常情况下是，数量众多的变量对应于图的终端节点，较少的对应隐变量（hidden variables)。隐变量的主要作用是使得观测变量上的复杂分布可以表示为由简单条件分布构建的模型。（具体的原因，在E-M算法部分进行说明）

一个马尔科夫随机场也成为马尔科夫网络，或者无向图模型，包含了一组节点，每个节点都对应一个变量或者一组变量。链接是无向的，即不含箭头。

无向图的连接没有了方向，所以父子节点之间的对称性也消除了。所以可以使用一下两种方法判断是否独立：

无向图的马尔科夫毯 非常简单，因为节点只依赖于相邻的节点，而z给定邻居节点的情况下，条件独立于任何其他的节点。

剩下的一个问题是：如何写出马尔科夫随机场的联合分布。也就是如何对联合分布进行 分解。
先来考虑图中的一个概念clique：
维基网络中的解释： a clique is a subset of vertices of an [undirected graph] such that its [inced subgraph]is [complete]; that is, every two distinct vertices in the clique are adjacent 。
马尔科夫随机场的联合概率可以分解为图中最大团快的势函数（potential functions ）的乘积形式：

其中Z被称为划分函数，是一个归一化常数，等于：

我们假定势函数是大于0的，因此可以将势函数表示为指数的形式：

其中E（Xc）称为能量函数。

因子图主要用于模型的推断过程。

参考文献：
书籍《Pattern Recognition andMachine Learning》 第八章

㈡ 数据挖掘中建立模型 采用的是什么研究方法

1.可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析
大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术
数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
数据存取： 关系数据库、NOSQL、SQL等。
基础架构： 云存储、分布式文件存储等。
数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。
统计分析： 假设检验、显着性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)
模型预测 ：预测模型、机器学习、建模仿真。
结果呈现： 云计算、标签云、关系图等。

大数据的处理
1. 大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。
2. 大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
3. 大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
4. 大数据处理之四：挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

㈢ 构建模型图是什么论文研究方法

论文研究模型构建的方法，主要是需要掌握学员的论文构建模式。利用论文的框架结构来完成模式的修改以及模板的操作。

㈣ 统计分析中常用的有哪几种“方法图”

统计质量控制分析方法之一：排列图法，利用排列图寻找影响质量主次因素的一种有效方法。统计质量控制分析方法之二：统计调查表法，利用专门设计的统计表对质量数据进行收集、整理和粗略分析质量状态的一种方法。统计质量控制分析方法之三：直方图法，将收集到的质量数据进行分组整理，绘制成频数分布直方图，用以描述质量分布状态的一种分析方法。统计质量控制分析方法之四：分层法，将调查收集的原始数据，根据不同的目的和要求，按某一性质进行分组、整理的分析方法。统计质量控制分析方法之五：因果分析图法，利用因果分析图来系统整理分析某个质量问题（结果）与其产生原因之间关系的有效工具。统计质量控制分析方法之六：控制图，用途主要有两个：过程分析，即分析生产过程是否稳定。过程控制，即控制生产过程质量状态。统计质量控制分析方法之七：相关图，在质量控制中它是用来显示两种质量数据之间关系的一种图形。以上就是统计质量控制的几种分析方法及用途，它不仅适用于质量控制，更可应用于一切管理过程。采用统计质量控制的这几种方法可以帮助企业在质量控制上真正作到"事前"预防和控制。

㈤ 概率图模型的概率图模型表示理论

概率图模型的表示方法,研究如何利用概率网络中的独立性来简化联合概率分布的方法表示。概率图模型能有效处理不确定性推理，从手或样本数据中准确高效地学习概率图模型是其在实际应用中的关键问题.概率图模型的表示由参数和结构两部分组成，PGM的分类如图1． ：
（1）根据边有无方向性分类；
（2）根据表示的抽象级别不同分类。
根据边有无方向性，PGM可以分为三类
（1）有向图模型，也称为贝叶斯网（BayesianNetwork，BN），其网络结构使用有向无环图；
（2）无向图模型,也称为马尔可夫网（MarkovNetwork，MN），其网络结构为无向图；
（3） 局部有向模型，即同时存在有向边和无向边的模型，包括条件随机场（ConditionalRandomField，CRF）和链图（ChainGraph）．根据表示的抽象级别不同，PGM可分两类：
（1）基于随机变量的概率图模型，如贝叶斯网、马尔可夫网、条件随机场和链图等；
（2）基于模板的概率图模型．这类模型根据应用场景不同又可分为两种：
（a）为暂态模型，包括动态贝叶斯网（Dynamic Bayesian Network，DBN）[6]和状态观测模型，其中状态观测模型又包括线性动态系统（Linear Dynamic System，LDS）和隐马尔可夫模型（Hidden Markov Model，HMM）；
（b）为对象关系领域的概率图模型，包括盘模型（Plate Model，PM）、概率关系模型（Probabilistic Relational Model，PRM）和关系马尔可夫网（Relational Markov Network，RMN）.总结如下
（1）单个节点上的条件概率分布的表示模族轿型及其引起的独立性,包括表格CPD、确定性CPD、特定上下文CPD、因果影响CPD、高斯模型和混合模型,并把单个分布模型推广到指数分布族中。
（2）贝叶斯网络中的独立性以及兆薯肆图与概率分布的关系,高斯分布和指数分布族的贝叶斯网络表示理论。马尔可夫网络的参数化问题及其独立性,高斯分布和指数分布族的马尔可夫网络表示理论。
（3）两种局部有向图模型:条件随机场和链图。
（4）基于模板的概率模型表示,包括动态贝叶斯网络和状态观测模型这两种暂态模型,
（5）盘模型和概率关系模型这两种对象关系领域的有向概率模型,对象关系领域的无向表示。