机器学习 - 逻辑回归
type
status
date
slug
summary
tags
category
icon
password
逻辑回归可以简单理解为在线性回归的模型基础之上，把输出映射为0或者1的布尔值。具体怎么映射呢，逻辑回归中一般使用的是sigmoid函数。sigmoid函数可以把 到 的输入映射到0 - 1之间。然后就可以通过判断输出是否大于0.5决定最终输出1还是0。那么逻辑回归中为什么要把输出映射到0 - 1呢？有几个原因，其中很重要的一个原因就是这样可以直接把输出和概率关联起来，比如用逻辑回归模型来预测某个邮件是否是垃圾邮件。那么输出映射到0-1之后可以直接代表邮件是垃圾邮件的概率。
那么逻辑回归如何计算最优的参数呢？ 线性回归中我们可以直接通过数学推导，计算出最优解的表达式。但是逻辑回归因为引入了sigmoid导致无法直接计算出一个最优解的表达式。所以就需要借助一些数值分析的方法了，比如梯度下降法，牛顿法。实际上神经网络的训练使用的就是梯度下降法及其变种。
实际上神经网络的训练使用的也是梯度下降法，无论是神经网络还是逻辑回归模型，我们都可以看作是一个数学表达式，只不过逻辑回归的数学表达式远远没有神经网络的简单。但是他们“寻找”最优解的方法都是一样的，底层用到都是梯度下降法。所以这里就产生一个很基础的需求：数学表达式的求导。实现了数学函数求导的程序化表达，在计算机上训练神经网络还是训练逻辑回归模型，其实都是一回事。