分类问题之损失函数

机器学习最佳化领域中,分类问题之损失函数可以用来表达预测不准确之程度,其中分类问题主要是用来判断所侦测到的物件属于什么类别。将一个向量空间做为所有的输入值,而向量空间做为所有的输出值。我们希望能够找到最佳的公式映射到[1]。然而,由于信息不完整、噪声、计算过程中的非确定性模块等因素,有可能会有相同的输入值映射到不同的输出值[2]。因此,这个学习过程的目的就是要最小化预期风险(更详细的介绍参见统计学习理论),预期风险之定义为:

各种代理损失函数的曲线。蓝色为0–1指示函数,绿色为平方损失函数,紫色为铰链损失函数,黄色为逻辑损失函数。注意所有代理损失函数对y=f(x= 0) 均给出1的惩罚。

其中即损失函数,而为几率密度函数。而实作上概率分布通常是未知的,因此我们使用由数据样本空间中取出的独立且同分布(i.i.d.)的样本点

作为训练集,将样本空间所得到的经验风险做为预期风险的替代,其定义为:

基于分类问题的二元性,可定义0-1函数做为匹配值之基准。因此损失函数为:

其中步阶函数。然而损失函数并不是凸函数或平滑函数,是一种NP-hard的问题,因此做为替代,需要使用可以追踪的机器学习算法(透过凸损失函数)。

分类问题之界线

编辑

使用贝式定理,可以基于问题的二元性最佳化映射公式 为:

 

 

简化分类问题预期风险

编辑
 

平方损失

编辑
 

平方损失凸且平滑,但容易过度惩罚错误预测,导致收敛速度比逻辑损失和链接损失慢。它的优点为有助于简化交叉验证之正则化(regularization)。

最小化预期风险之映射函数为:

 

链接损失

编辑
 

链接损失公式等同于支持向量机(SVM)的损失公式。链接损失凸但不平滑(在 不可微分),因此不适用于梯度下降法随机梯度下降法,但适用次梯度下降法。 最小化预期风险之映射函数为:

 

广义平滑链接损失

编辑
 

其中 

逻辑损失

编辑
 

适用于梯度下降法,但不会对错误预测做惩罚。 最小化预期风险之映射函数为:

 

交叉熵损失

编辑
 

其中  so that   属于凸函数,适用于随机梯度下降法。

指数损失

编辑
 

参考资料

编辑
  1. ^ Shen, Yi, Loss Functions For Binary Classification and Class Probability Estimation (PDF), University of Pennsylvania, 2005 [6 December 2014], (原始内容存档 (PDF)于2019-06-14) 
  2. ^ Rosasco, Lorenzo; Poggio, Tomaso, A Regularization Tour of Machine Learning, MIT-9.520 Lectures Notes, Manuscript, 2014