一文看懂四种基本的神经网络架构
|
DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。 DBN由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。 生成对抗网络 GAN生成对抗网络其实在之前的帖子中做过讲解，这里在说明一下。 生成对抗网络的目标在于生成，我们传统的网络结构往往都是判别模型，即判断一个样本的真实性。而生成模型能够根据所提供的样本生成类似的新样本，注意这些样本是由计算机学习而来的。 GAN一般由两个网络组成，生成模型网络，判别模型网络。 生成模型 G 捕捉样本数据的分布，用服从某一分布(均匀分布，高斯分布等)的噪声 z 生成一个类似真实训练数据的样本，追求效果是越像真实样本越好;判别模型 D 是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，D 输出大概率，否则，D 输出小概率。 举个例子：生成网络 G 好比假币制造团伙，专门制造假币，判别网络 D 好比警察，专门检测使用的货币是真币还是假币，G 的目标是想方设法生成和真币一样的货币，使得 D 判别不出来，D 的目标是想方设法检测出来 G 生成的假币。 传统的判别网络： 生成对抗网络： 在训练的过程中固定一方，更新另一方的网络权重，交替迭代，在这个过程中，双方都极力优化自己的网络，从而形成竞争对抗，直到双方达到一个动态的平衡(纳什均衡)，此时生成模型 G 恢复了训练数据的分布(造出了和真实数据一模一样的样本)，判别模型再也判别不出来结果，准确率为 50%。 下面展示一个cDCGAN的例子(前面帖子中写过的) 生成网络 判别网络 最终结果，使用MNIST作为初始样本，通过学习后生成的数字，可以看到学习的效果还是不错的。 小结本文非常简单的介绍了四种神经网络的架构，CNN，RNN，DBN，GAN。当然也仅仅是简单的介绍，并没有深层次讲解其内涵。这四种神经网络的架构十分常见，应用也十分广泛。当然关于神经网络的知识，不可能几篇帖子就讲解完，这里知识讲解一些基础知识，帮助大家快速入(zhuang)门(bi)。后面的帖子将对深度自动编码器，Hopfield 网络长短期记忆网络(LSTM)进行讲解。 【编辑推荐】
点赞 0 （编辑：PHP编程网 - 湛江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
