首页
登录 | 注册

Tensorflow学习二:神经网络用于分类和回归的损失函数

引言:

       对于二分类问题,一般会将预测结果经过一个非线性变换缩小到0到1之间,并设置一个阀值,比如0.5,小于0.5便是0,大于0.5便是1。但是这种做法对于多分类是不适用的。

交叉熵:

      通过神经网络解决多分类的方法是设置n个输出节点,n代表类别数。对于每一个样例,神经网络会得到一个n维数组做为输出结果。数组中的每一个维度代表对应的类别。理想情况下,如果一个样本属于k,那么这个类别对应的输出节点的输出值应该为1.而其他节点为0.但是实际上不可能,比如我们理想的是[0, 0, 1, 0],而实际上输出的是[0.1,0.2,0.6,0.1],那么我们这时候如何评判呢,此时交叉熵是常用的评判方法之一。交叉熵刻画得是两个概率分布之间的距离。比如上面的0和0.1的距离。1和0.6的距离。它的公式是这样的:

                                              

softmax回归:

 但是还有一点要指出的是,神经网络预测的应该是一个概率,比如这种形式的[0.1,0.2,0.6,0.1],但是可以想到最后一层的神经网络,对于每一个结点,其实输出的不会就是一个概率,使得所有输出节点的概率之和为1,那么如何得到概率向量呢?我们使用softmax回归函数。它的公式是这样的:

Tensorflow学习二:神经网络用于分类和回归的损失函数

二分类的交叉熵:

   当分类结果只有0和1时,交叉熵变成以下形式:

Tensorflow学习二:神经网络用于分类和回归的损失函数

总结:

当交叉熵用于神经网络的损失函数时,p代表的是正确答案,q代表的是预测值,交叉熵刻画得是两个概率分布之间的距离,也就是说交叉熵越小,两个概率分布越近。

tensorflow中的实现:

cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y, 1e-10, 1.0)))

因为交叉熵一班会与softmax回归一起使用,所以tf有一个封装,比如可以直接通过下面的代码实现使用了softmax回归之后的交叉熵损失函数:

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(y, y_)

回归问题:

     与分类问题不同的是,回归问题是对具体数值的预测,要预测的是一个数字,因此解决回归问题的网络一般只有一个输出节点,这个节点的输出值就是预测值。对于回归问题,最常用的损失函数就是均方误差(MSE)函数,其在tf中实现如下:



2020 jeepxie.net webmaster#jeepxie.net
10 q. 0.009 s.
京ICP备10005923号