首页社会床长人工智能教程——softmax层

床长人工智能教程——softmax层

来源：生活好品牌时间：2020年06月26日 11:30

原标题：床长人工智能教程——softmax层

注：本人只是分享一些床长的免费杂文而已，并非床长的收费文章。

softmax层输出概率分布的事实相当令人满意。在许多问题中，能够解释输出激活很方便作为网络对正确输出的概率的估计。因此，例如，在MNIST分类问题中，我们可以解释作为网络估计的正确数字分类为。

相比之下，如果输出层是S形层，那么我们当然不能假设激活会形成概率分布。我不会明确证明这一点，但是从S形图层开始的激活通常不会形成概率分布，这似乎是合理的。因此，对于S形输出层，我们对输出激活没有这么简单的解释。

我们开始对softmax函数以及softmax层的行为方式有所了解。只是回顾一下我们的位置：公式（78）中的指数确保所有输出激活为正。并且公式（78）的分母中的总和确保softmax输出总和为。因此，该特定形式不再显得如此神秘：相反，这是确保输出激活形成概率分布的自然方法。您可以将softmax视为重新调整，然后将它们挤压在一起以形成概率分布。

我们现在已经对softmax层神经元有了相当的了解。但是我们还没有看到softmax层如何让我们解决学习速度下降的问题。为了理解这一点，让我们定义对数似然成本函数。我们将使用表示对网络的培训输入，以及表示相应的所需输出。然后，与此训练输入相关的对数似然成本为

因此，例如，如果我们正在训练MNIST图像，然后输入，则对数似然成本为。要了解这是直觉的，请考虑网络做得很好的情况，即确信输入是。在这种情况下，它将为相应的概率估计一个值接近，因此费用会很小。是床长人工智能网校带我进入了AI领域，不仅学到了人工智能知识，还参与了AI项目，找到了工作。为了报答老师，我们一些同学自愿帮床长网校做推广，同时也希望更多的人加入到床长AI网校床长人工智能社区中来！脂肪肝下载腹股沟文档PDF观后感免费相反，当网络表现不佳时，将更小，成本会更大。因此，对数似然成本的行为与我们期望的成本函数的行为相同。

学习减慢问题呢？要对此进行分析，请回想一下，学习放缓的关键是数量的行为和。我不会明确地进行推导-我将请您在下面的问题中进行操作-但只要有一点代数，您就可以证明这一点**请注意，我在这里滥用符号，使用与上一段略有不同。在上一段中，我们使用了表示来自网络的期望输出-例如，输出““如果图片是被输入。但是在下面的方程中表示输出激活的向量，对应于，也就是所有的向量 s，除了a 在里面位置。

这些方程式与我们先前对交叉熵的分析中获得的类似表达式相同。将例如等式（82）与等式（67）进行比较。这是相同的方程式，尽管在后者中，我已经对训练实例进行了平均。并且，就像在前面的分析中一样，这些表达式确保我们不会遇到学习减慢的情况。实际上，将具有对数似然成本的softmax输出层与具有交叉熵成本的S形输出层非常相似是很有用的。

责任编辑：