作业帮 > 综合 > 作业

求大神解释下为什么最小二乘法里 dD/Da =0,dD/db=0 D=SUMi(yi-(a*xi+b))^2

来源:学生作业帮 编辑:搜搜考试网作业帮 分类:综合作业 时间:2024/04/28 13:37:31
求大神解释下为什么最小二乘法里 dD/Da =0,dD/db=0 D=SUMi(yi-(a*xi+b))^2

打错了是dD/da =0,小写的d
求大神解释下为什么最小二乘法里 dD/Da =0,dD/db=0 D=SUMi(yi-(a*xi+b))^2
我只能说这样理解,严格的数学证明还是参考相关数学书籍
最小二乘直线拟合的思想是,已经有了一堆数据(点)(xi,yi)
我们期望求得直线 y = ax + b,它是最接近我们的数据的直线
最接近的含义就是误差最小
对于点 (xi,yi),你纵向画直线 x= xi 和期望直线 y = ax + b 相交,则在相同横坐标下,数据
(xi,yi)的误差(纵向)为 yi - y = yi - (axi+b)
现在,我们需要一个估算总体误差的方法,我们想到了对误差求和,但因为误差有正负,直接求和会导致正负抵消一部分,误差无法反映,所以,我们先将每个误差取平方,变成非负的,再求和.(理论上,你也可以取四次方等偶次方,或者取绝对值,但这些方法不利于数学上处理,二次方次数低,且可以求导)
所以,总误差就是文中的 D = D(a,b),注意 xi,yi都是已知数据,a,b是未知量(变量)
D是关于a,b的二元连续函数,求最值,所以D对a,b的偏导数为 0
dD/da = 0
dD/db = 0
dD / da = ∑ 2(axi + b -yi)xi = 0
dD/db = ∑2(axi+b - yi) = 0
整理一下就得到文中后面的关于a,b的二元一次方程组了
再问: 为什么dD/da = 0,dD/db = 0求出来的就是最小值呢?
再答: 你非要问我严格的证明,早就忘了,那是学数学的人应该去深究的。我只是理解成,多个变量的连续函数 f(x,y,z,...),它的最值考虑是,把x看成变元,其余看成常数,从而f关于x的变化率为0的地方才是取最值的地方,这就是 f关于 x的偏导数为0 。对于其余变量,同样,f关于每个变量的偏导为0 。 从直观上理解,f(x,y) 是曲面xy上的函数,x,y是两个正交的量,取最值的地方,f的梯度为 0 。 我只会按工程思维理解,再问我为什么,我就不知道了(不想花时间去深究) 我翻了翻发黄的以前自己的教科书,你去看看 多元函数的极值与条件极值相关的内容就可以知道那些为什么了