深度学习误差计算方法

㈠ 想要学深度学习，是需要掌握哪些数学知识

1956年人工智能的概念首次提出，经过60多年的发展，人工智能在经济社会各领域开始得到广泛应用，并引领新一轮产业变革，推动人类社会进入智能化时代。深度学习作为人工智能的核心技术之一，越来越受到行业的关注。
众所周知，深度学习是一个将理论算法与计算机工程技术紧密结合的领域。对于零基础小白，想往深度学习发展，要掌握哪些数学知识呢？
首先是线性代数。在神经网络中大量的计算都是矩阵乘法，这就需要用到线性代数的知识了。计算向量的余弦相似度也要用到内积运算，矩阵的各种分解办法也出现在主成分分析和奇异值分解中。
其次是概率论与统计学。广义的说，机器学习的核心是统计推断，机器学习的巨头不少都是统计学大师，如迈克尔乔丹，杨乐坤，辛顿等，另外机器学习中大量用到贝叶斯公式，隐马尔科夫模型等等。
再次就是微积分。这是机器学习中的核心知识之一，无论是梯度下降法中的求梯度还是反向传播中的误差传递的推导都需要用到微积分。

㈡ 深度学习损失函数

深度学习损失函数
在利用深度学习模型解决有监督问题时，比如分类、回归、去噪等，我们一般的思路如下：
1、信息流forward propagation，直到输出端；
2、定义损失函数L(x, y | theta)；
3、误差信号back propagation。采用数学理论中的“链式法则”，求L(x, y | theta)关于参数theta的梯度；
4、利用最优化方法（比如随机梯度下降法），进行参数更新；
5、重复步骤3、4，直到收敛为止；
在第2步中，我们通常会见到多种损失函数的定义方法，常见的有均方误差（error of mean square）、最大似然误差（maximum likelihood estimate）、最大后验概率（maximum posterior probability）、交叉熵损失函数（cross entropy loss），下面我们就来理清他们的区别和联系。一般地，一个机器学习模型选择哪种损失函数，是凭借经验而定的，没有什么特定的标准。具体来说，
（1）均方误差是一种较早的损失函数定义方法，它衡量的是两个分布对应维度的差异性之和。说点题外话，与之非常接近的一种相似性度量标准“余弦角”，则衡量的是两个分布整体的相似性，也即把两个向量分别作为一个整体，计算出的夹角作为其相似性大小的判断依据，读者可以认真体会这两种相似性判断标准的差异；
（2）最大似然误差是从概率的角度，求解出能完美拟合训练样例的模型参数theta，使得概率p(y | x, theta)最大化；
（3）最大化后验概率，即使得概率p(theta | x, y)最大化，实际上也等价于带正则化项的最大似然概率（详细的数学推导可以参见Bishop 的Pattern Recognition And Machine Learning），它考虑了先验信息，通过对参数值的大小进行约束来防止“过拟合”；
（4）交叉熵损失函数，衡量的是两个分布p、q的相似性。在给定集合上两个分布p和q的cross entropy定义如下：

其中，H(p)是p的熵，Dkl(p||q)表示KL-divergence。对于离散化的分布p和q，

在机器学习应用中，p一般表示样例的标签的真实分布，为确定值，故最小化交叉熵和最小化KL-devergence是等价的，只不过之间相差了一个常数。
值得一提的是，在分类问题中，交叉熵的本质就是似然函数的最大化。证明如下：
记带标签的样例为（x, y）， 其中x表示输入特征向量，y=[y1, y2, …, yc]表示真实标签的one-hot表示，y_=[y1, y2, …, yc]表示模型输出的分布，c表示样例输出的类别数，那么。
（1）对于二分类问题，p(x)=[1， 0]，q(x)=[y1， y2]，y1=p(y=1|x)表示模型输出的真实概率，交叉熵H(p, q)=-（1*y1+0*y2）=-y1，显然此时交叉熵的最小化等价于似然函数的最大化；
（2）对于多分类问题， 假设p(x)=[0, 0, 0, …, 1, 0, 0]，q(x)=[y1, y2, y3, …, yk, y(k+1), y(k+2)]，即表示真实样例标签为第k类，yk=p(y=k|x)表示模型输出为第k类的概率，交叉熵H(p,q)=-(0*y1+0*y2+0*y3+…+1*yk+0*y(k+1)+0*y(k+2)) = -yk， 此时同上。

㈢ 深度学习 train loss是什么意思

训练误差。
不同模型用的代价函数可能不一样，这个train loss具体的值的计算方式也不一样。但表达的意思都是用来表示，训练集在模型中的预测结果与真实结果的误差。

㈣ 深度学习在训练模型时,输出的每个参数代表什么意思

假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息那多好啊），保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到我们的主题Deep Learning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。

对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。

另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。

㈤ 学习深度学习如何下手

机器学习是一种实现人工智能的方法，深度学习是一种实现机器学习的技术

㈥ 深度学习的理论解释有哪些

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如，卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型，而深度置信网(Deep Belief Nets，简称DBNs)就是一种无监督学习下的机器学习模型。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示:流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有父亲，输出节点没有孩子。

这种流向图的一个特别属性是深度(depth):从一个输入到一个输出的最长路径的长度。

传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。

㈦ 关于深度学习的问题都有哪些

很多人对于深度学习有很多的问题，其实这说明深度学习的关注度还是很高的。深度学习是为人工智能服务的，因此深度学习这种算法越来越受大家的关注。在这篇文章中我们就给大家解答一下关于深度学习的问题，希望这篇文章能够给大家带来帮助。
1.为什么构建深度学习模型需要使用GPU？
在深度学习中，深度学习模型有两个主要的操作，也就是前向传递和后向传递。前向传递将输入数据通过神经网络后生成输出；后向传递根据前向传递得到的误差来更新神经网络的权重。在矩阵中，我们知道计算矩阵就是第一个数组的行与第二个数组的列元素分别相乘。因此，在神经网络中，我们可以将第一个矩阵视为神经网络的输入，第二个矩阵可以视为网络的权重。这似乎是一个简单的任务。但是数据有很多，如果我们用传统的方法，训练这种系统需要几年的时间。如果使用神经网络的计算密集部分由多个矩阵乘法组成。那么如何才能更快？我们可以简单地通过同时执行所有操作，而不是一个接一个地执行。这就是为什么我们要使用GPU而不是CPU来训练神经网络的原因。
2.何时应用神经网络？
首先，深度学习模型需要清晰且丰富的数据来训练。对于图像处理等复杂问题使用深度学习需要很谨慎。深度学习算法属于表示学习算法。这些算法将复杂问题分解为更简单的形式以便理解。对于传统的算法来说，这将更困难。硬件要求对于运行深度神经网络模型也至关重要。神经网络很久以前就被发现了，但近年来得以成功实现，硬件资源更加强大也是其主要原因。
3.是否需要大量数据来训练深度学习模型？
其实我们确实需要大量的数据来训练深度学习模型，但也可以通过迁移学习来克服数据量不大这一障碍。即使数据量不大，针对特定任务进行训练的深度学习模型也可以重用于同一个域中的不同问题，这种技术被称为迁移学习。
相信大家看了这篇文章以后对深度学习有所理解了吧？大家在学习深度学习的时候一定要意识到一件事情，那就是深度学习是机器学习的分支，想学好人工智能一定不能忽视了对深度学习的掌握和熟知。

㈧ 学习深度学习需要具备哪些基础才可以

如果未来要走深度学习方向的话，其实本科数学系的课程基本上够用了，如果不够的话，查缺补漏地看一些资料和书籍就可以了。不需要再去读一个数学系的研究生学位。

推荐《Deep Learning》这本书。作者是 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 三位大牛。这本书的中文版于 2017 年 7 月 22 号上市。该书由众多译者协力完成。《深度学习》这本书从浅入深介绍了基础数学知识、机器学习经验以及现阶段深度学习的理论和发展，不管是人工智能技术爱好者，还是相关从业人员使用这本书都是非常有好处的。另外，读者如果想熟悉一些数学知识，本书也做了一些介绍，包括矩阵，导数等基本内容。读者可以从头读到尾。

《深度学习》这本书的一大特点是介绍深度学习算法的本质，脱离具体代码实现给出算法背后的逻辑，不写代码的人也完全可以看。为了方便读者阅读，作者特别绘制了本书的内容组织结构图，指出了全书20章内容之间的相关关系。读者可以根据自己的背景或需要，随意挑选阅读。

官方中文版的 GitHub 链接在此：https://github.com/exacity/deeplearningbook-chinese

动手学深度学习

京东

¥ 76.50

去购买

如果觉得数学知识不太够，可以看这一本《深度学习的数学》。本书基于丰富的图示和具体示例，通俗易懂地介绍了深度学习相关的数学知识。第1章介绍神经网络的概况；第 2 章介绍理解神经网络所需的数学基础知识；第 3 章介绍神经网络的优化；第 4 章介绍神经网络和误差反向传播法；第 5 章介绍深度学习和卷积神经网络。书中使用 Excel 进行理论验证，帮助读者直观地体验深度学习的原理。

㈨ 深度学习为什么大多采用单精度浮点进行计算

首先，使用浮点型的原因：方便构建一个平滑曲线的反馈函数。
相比之下，单浮点型的原因就无足轻重，通常有以下三个原因：
①： 提高精确度，减少浮点误差。
②：节约存储空间。
③：约定俗成的习惯。

㈩ 转行深度学习，如何解决自己在学习中遇到的瓶颈问题

大数据和高性能的计算能力，让深度学习技术开始超越人类。随着深度学习技术在应用上已经取得的快速发展，有人开始认为，科技既然能够通过互联网，让全世界实现信息共享，那么，随着以深度学习为代表的人工智能技术的发展，有理由相信，未来将会有比人的智力更高的新物种被创造出来。

不过，在众人普遍看好深度学习技术的发展前景时，也有业内专业人士指出，深度技术在发展方面还存在着不少问题。这些问题主要体现在以下几个方面。

（1）理论问题。
深度学习的理论问题主要体现在统计学和计算两个方面。对于任意一个非线性函数，都能找到一个浅层网络和深度网络来表示。深度模型比浅层模型对非线性函数具有更好的表现能力。但深度网络的可表示性并不代表可学习性。要了解深度学习样本的复杂度，要了解需要多少训练样本才能学习到足够好的深度模型，就必须知道，通过训练得到更好的模型需要多少计算资源，理想的计算优化是什么。由于深度模型都是非凸函数，也就让深度学习在这方面的理论研究变得非常困难。

（2）建模问题。
工业界曾经有一种观点：“在大数据条件下，简单的机器学习模型会比复杂模型更有效。”在实际的大数据应用中，很多最简单的模型得到大量使用的情形也在一定程度上印证着这种观点。

但是，随着深度学习的快速发展，人们不得不重新思考这种观点。因为在大数据情形下，往往只有比较复杂或表达能力强的模型，才能充分挖掘海量数据中的信息。随着深度模型变得更强大，从大数据中发掘出的信息往往更有价值。大数据需要深度模型。比如说，语音识别所涉及的是大数据机器学习问题。其声学建模所面临的是高达十亿到千亿级别的样本训练。Google公司在一个语音识别实验中发现，训练后的DNN，训练样本上的预测误差，竟然与测试样本的预测误差基本相当。而在通常模型上，训练样本上的预测误差要明显小于测试样本。这是因为大数据里含有丰富的信息维度，从而让DNN这样高容量的复杂模型处于欠拟合状态。由此也就表明大数据需要深度学习。浅层模型模拟人工经验抽取样本特征，其功能主要是负责分类或预测。在这种情形下，特征的好坏就成为整个系统性能的关键。为此，为了发掘更好的特征，开发人员就得对需要解决的问题有深入的理解。要做到这一点，就需要反复摸索，这在时间上往往要花费数年。这就表明，人工设计样本特征在可扩展性上欠佳。
深度学习的实质是学习更有用的特征，最终提升分类或预测的准确性。其方法是构建深度模型和海量训练数据。可以说，特征学习是目的，深度模型是手段。相对浅层学习来说，深度学习具有多达5层、6层，甚至是10多层的隐层节点，还突出了特征学习的重要性。深度学习通过逐层特征变换，让分类或预测变得更容易。

利用大数据来学习特征，比通过人工规则来构造规则更能刻画数据的内在信息。那么，在推进深度学习的学习理论与计算理论时，能不能提出新的具有强大表示能力的分层模型呢？在具体应用上，又该怎样设计一个用来解决问题的最合适的深度模型呢？还有，是否存在可能建立一个通用的深度模型或者是建模语言呢？这些都是深度学习必须面对的问题。

（3）工程问题。
对于从事深度学习技术研发的人来说，首先要解决的是利用并行计算平台来实现海量数据训练的问题。深度学习需要频繁迭代，传统的大数据平台无法适应这一点。随着互联网服务的深入，海量数据训练的重要性日益凸显。而现有的DNN训练技术通常所采用的随机梯度法，不能在多个计算机之间并行。采用CPU进行传统的DNN模型训练，训练时间非常漫长，一般训练声学模型就需要几个月的时间。这样缓慢的训练速度明显不能满足互联网服务应用的需要。目前，提升模型训练速度，成为许多大公司研发者的主攻方向。比如谷歌公司，搭建起了DistBelief这个深度学习并行计算平台。通过采用异步算法，实现随机梯度下降算法的并行化，从而加快模型训练速度。不过，工程方面尽管取得了一定的进展，但对解决各种服务需求来说，仍然有很长的一段路要走。

深度学习引领着“大数据+深度模型”时代的到来。尤其是在推动人工智能和人机交互方面取得了长足的进步。同时也应该看到，深度学习在理论、建模和工程方面仍面临着一系列的难题。而在具体应用方面，深度学习也面临着一些挑战。

人工智能神经网络建设从最初的设想到成为信息技术中的应用，花了超过50年的时间。在克服传统计算机性能不足方面，神经网络算法较其他算法更具有先进性。在早期的实验中，网络训练方法是：“迭代地调整每个神经元施加到其输入的数据，来尽量减少整个网络的输出与所希望的结果之间的误差。”这样的训练虽然较过去有所改善，但让深度学习在规模上面临着一个挑站。

2006年，多伦多大学开发的训练技术能用于包含多个隐藏层的网络，其中的一种技术叫作“预训练”。这种方法能让上层提取高级特征，但无法解决规模问题。处在较高层的神经元，需要巨大的计算能力。如用于图像处理应用程序的第一层所需要分析的像素就多达一百万个。深度网络的多个层连接的数量非常巨大，每个图像的连接就达几十亿甚至上千亿。训练这样的大型网络，需要数千亿的浮点运算。这样的巨大规模，让神经网络的训练变得非常缓慢