搜搜考试网求对一矩阵求导过程的推导
来源：学生作业帮 编辑：搜搜考试网作业帮 分类：数学作业 时间：2024/06/11 23:38:24
求对一矩阵求导过程的推导
在梯度下降法中,有个对矩阵求导的推导,即J(Θ)=1/2*||Θ*X−Y||^2对Θ求导的结果是∂J(Θ)/∂Θ=X'*X*Θ−X'*Y,其中X'表示X的转置.请问这是怎么来的,根据哪个矩阵求导公式而来的,请帮忙推导.
这两个网页里都有这样的叙述，我就是看不明白那一步是怎么来的。
在梯度下降法中,有个对矩阵求导的推导,即J(Θ)=1/2*||Θ*X−Y||^2对Θ求导的结果是∂J(Θ)/∂Θ=X'*X*Θ−X'*Y,其中X'表示X的转置.请问这是怎么来的,根据哪个矩阵求导公式而来的,请帮忙推导.
这两个网页里都有这样的叙述，我就是看不明白那一步是怎么来的。
简单的做法：用{,}表示内积,则任意依赖于实数t的向量X=X(t),||X||^2={X,X}=X'X,且有莱布尼茨法则：d/dt({X,X})=2{d/dt(X),X}.
任取矩阵A,令g(t)=Θ+tA,则g(0)=Θ,dg/dt=A
令 f(t)=J(g(t))=1/2*||g(t)X−Y||^2={g(t)X−Y,g(t)X−Y}/2,
对t求导,得到d/dt(f(t))={d/dt(g(t))X,g(t)X−Y}={AX,g(t)X-Y}
取t=0,就得到df/dt(0)={AX,ΘX-Y}={AX,ΘX}-{AX,Y}
这是一个A的线性函数:dJ(A)=X'A'ΘX-X'A'Y
这个线性函数就是J的微分.
再问： 能简单介绍下“莱布尼茨法则：d/dt({X,X})=2{d/dt(X),X}.”吗，我看不明白
再答： 莱布尼茨法则乘法的求导法则。就是 (ab)'=a'b+ab'，其中'表示求导。对于内积来说，有 {X,Y}' = {X', Y} + {X, Y'} 这个公式很多地方都有。
任取矩阵A,令g(t)=Θ+tA,则g(0)=Θ,dg/dt=A
令 f(t)=J(g(t))=1/2*||g(t)X−Y||^2={g(t)X−Y,g(t)X−Y}/2,
对t求导,得到d/dt(f(t))={d/dt(g(t))X,g(t)X−Y}={AX,g(t)X-Y}
取t=0,就得到df/dt(0)={AX,ΘX-Y}={AX,ΘX}-{AX,Y}
这是一个A的线性函数:dJ(A)=X'A'ΘX-X'A'Y
这个线性函数就是J的微分.
再问： 能简单介绍下“莱布尼茨法则：d/dt({X,X})=2{d/dt(X),X}.”吗，我看不明白
再答： 莱布尼茨法则乘法的求导法则。就是 (ab)'=a'b+ab'，其中'表示求导。对于内积来说，有 {X,Y}' = {X', Y} + {X, Y'} 这个公式很多地方都有。