RL-赵-(六)：随机逼近与随机梯度下降05：SGD算法的示例、应用、收敛性分析（Convergence）【使用SGD时，采样必须满足iid/独立同分布】

1、SGD算法的示例、应用考虑下面的一个优化问题：min⁡wJ(w)=E[f(w,X)]=E[12∥w−X∥2],\min_w\quad J(w)=\mathbb{E}[f(w,X)]=\mathbb{E}\left[\frac12\|w-X\|^2\right],wmin​J(w)=E[f(w,X)]=E[21​∥w−X∥2],其中：f(w,X)=∥w−X∥2/2∇wf(w,X)=w−Xf(w,X)=\|w-X\|^2/2\quad\nabla_wf(w,X)=w-Xf(w,X)=∥w−X∥2/2∇w​f(w,X)=w−X