如何理解最小二乘法？-程序员宅基地

最小平方法是十九世纪统计学的主题曲。从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。
----乔治·斯蒂格勒的《The History of Statistics》

1 日用而不知

来看一个生活中的例子。比如说，有五把尺子：

用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：

$\begin{array}{c|c} \qquad\qquad&\qquad长度\qquad\\\hline \color{red}红& 10.2 \\\hline \color{blue}蓝& 10.3 \\\hline \color{orange}橙&9.8\\\hline \color{Goldenrod}黄&9.9\\\hline \color{green}绿&9.8\\\end{array}$

之所以出现不同的值可能因为：

不同厂家的尺子的生产精度不同
尺子材质不同，热胀冷缩不一样
测量的时候心情起伏不定
......

总之就是有误差，这种情况下，一般取平均值来作为线段的长度：

$\overline{x}=\frac{10.2+10.3+9.8+9.9+9.8}{5}=10$

日常中就是这么使用的。可是作为很事'er的数学爱好者，自然要想下：

这样做有道理吗？
用调和平均数行不行？
用中位数行不行？
用几何平均数行不行？

2 最小二乘法

换一种思路来思考刚才的问题。

首先，把测试得到的值画在笛卡尔坐标系中，分别记作 $y_i$ ：

其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示（因为是猜测的，所以用虚线来画），记作 $y$ ：

每个点都向 $y$ 做垂线，垂线的长度就是 $|y-y_i|$ ，也可以理解为测量值和真实值之间的误差：

因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：

$|y-y_i|\to (y-y_i)^2$

总的误差的平方就是：

$\epsilon=\sum (y-y_i)^2$

因为 $y$ 是猜测的，所以可以不断变换：

自然，总的误差 $\epsilon$ 也是在不断变化的。

法国数学家，阿德里安-馬里·勒讓德（1752－1833，这个头像有点抽象）提出让总的误差的平方最小的 $y$ 就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动（关于这点可以看下“如何理解无偏估计？”）。

这就是最小二乘法，即：

$\epsilon=\sum (y-y_i)^2最小\implies 真值y$

这个猜想也蛮符合直觉的，来算一下。

这是一个二次函数，对其求导，导数为0的时候取得最小值：

$\begin{aligned} \frac{d}{dy}\epsilon &=\frac{d}{dy}\sum (y-y_i)^2=2\sum (y-y_i)\\ \quad\\ &=2((y-y_1)+(y-y_2)+(y-y_3)+(y-y_4)+(y-y_5))=0 \quad\\\end{aligned}$

进而：

$5y=y_1+y_2+y_3+y_4+y_5\implies y=\frac{y_1+y_2+y_3+y_4+y_5}{5}$

正好是算术平均数。

原来算术平均数可以让误差最小啊，这下看来选用它显得讲道理了。

以下这种方法：

$\epsilon=\sum (y-y_i)^2最小\implies 真值y$

就是最小二乘法，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。

3 推广

算术平均数只是最小二乘法的特例，适用范围比较狭窄。而最小二乘法用途就广泛。

比如温度与冰淇淋的销量：

$\begin{array}{c|c} \qquad\qquad&\qquad销量\qquad\\\hline \color{red}{25^\circ}& 110 \\\hline \color{blue}{27^\circ}& 115 \\\hline \color{orange}{31^\circ}&155\\\hline \color{Goldenrod}{33^\circ}&160\\\hline \color{green}{35^\circ}&180\\\end{array}$

看上去像是某种线性关系：

可以假设这种线性关系为：

$f(x)=ax+b$

通过最小二乘法的思想：

上图的 $i,x,y$ 分别为：

$\begin{array}{c|c|c} \qquad i\qquad&\qquad x\qquad&\qquad y\qquad\\\hline 1&25& 110 \\\hline 2&27& 115 \\\hline 3&31&155\\\hline 4&33&160\\\hline 5&35&180\\\end{array}$

总误差的平方为：

$\epsilon=\sum (f(x_i)-y_i)^2=\sum (ax_i+b-y_i)^2$

不同的 $a,b$ 会导致不同的 $\epsilon$ ，根据多元微积分的知识，当：

$\begin{cases} \frac{\partial}{\partial a}\epsilon=2\sum (ax_i+b-y_i)x_i=0\\ \quad\\ \frac{\partial}{\partial b}\epsilon=2\sum (ax_i+b-y_i)=0\end{cases}$

这个时候 $\epsilon$ 取最小值。

对于 $a,b$ 而言，上述方程组为线性方程组，用之前的数据解出来：

$\begin{cases} a\approx 7.2\\ \quad\\ b\approx -73\end{cases}$

也就是这根直线：

其实，还可以假设：

$f(x)=ax^2+bx+c$

在这个假设下，可以根据最小二乘法，算出 $a,b,c$ ，得到下面这根红色的二次曲线：

同一组数据，选择不同的 $f(x)$ ，通过最小二乘法可以得到不一样的拟合曲线（出处）：

不同的数据，更可以选择不同的 $f(x)$ ，通过最小二乘法可以得到不一样的拟合曲线：

$f(x)$ 也不能选择任意的函数，还是有一些讲究的，这里就不介绍了。

4 最小二乘法与正态分布

我们对勒让德的猜测，即最小二乘法，仍然抱有怀疑，万一这个猜测是错误的怎么办？

数学王子高斯（1777－1855）也像我们一样心存怀疑。

高斯换了一个思考框架，通过概率统计那一套来思考。

让我们回到最初测量线段长度的问题。高斯想，通过测量得到了这些值：

每次的测量值 $x_i$ 都和线段长度的真值 $x$ 之间存在一个误差：

$\epsilon_i=x-x_i$

这些误差最终会形成一个概率分布，只是现在不知道误差的概率分布是什么。假设概率密度函数为：

$p(\epsilon)$

再假设一个联合概率密度函数，这样方便把所有的测量数据利用起来：

$\begin{aligned} L(x) &=p(\epsilon_1)p(\epsilon_2)\cdots p(\epsilon_5)\\ \quad\\ &=p(x-x_i)p(x-x_2)\cdots p(x-x_5)\end{aligned}$

讲到这里，有些同学可能已经看出来了上面似然函数了（关于似然函数以及马上要讲到的极大似然估计，可以参考“如何理解极大似然估计法？”）。

因为 $L(x)$ 是关于 $x$ 的函数，并且也是一个概率密度函数（下面分布图形是随便画的）：

根据极大似然估计的思想，概率最大的最应该出现（既然都出现了，而我又不是“天选之才”，那么自然不会是发生了小概率事件），也就是应该取到下面这点：

当下面这个式子成立时，取得最大值：

$\frac{d}{dx}L(x)=0$

然后高斯想，最小二乘法给出的答案是：

$x=\overline{x}=\frac{x_1+x_2+x_3+x_4+x_5}{5}$

如果最小二乘法是对的，那么 $x=\overline{x}$ 时应该取得最大值，即：

$\frac{d}{dx}L(x)|_{x=\overline{x}}=0$

好，现在可以来解这个微分方程了。最终得到：

$p(\epsilon)={1 \over \sigma\sqrt{2\pi} }\,e^{- {{\epsilon^2 \over 2\sigma^2}}}$

这是什么？这就是正态分布啊。

并且这还是一个充要条件：

$x=\overline{x}\iff p(\epsilon)={1 \over \sigma\sqrt{2\pi} }\,e^{- {{\epsilon^2 \over 2\sigma^2}}}$

也就是说，如果误差的分布是正态分布，那么最小二乘法得到的就是最有可能的值。

那么误差的分布是正态分布吗？

我们相信，误差是由于随机的、无数的、独立的、多个因素造成的，比如之前提到的：

不同厂家的尺子的生产精度不同
尺子材质不同，热胀冷缩不一样
测量的时候心情起伏不定
......

那么根据中心极限定理（参考“为什么正态分布如此常见？”），误差的分布就应该是正态分布。

因为高斯的努力，才真正奠定了最小二乘法的重要地位。

文章最新版本在（有可能会有后续更新）：如何理解最小二乘法？

本文链接：https://blog.csdn.net/ccnt_2012/article/details/81127117

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

生活垃圾数据集（YOLO版）_垃圾回收数据集-程序员宅基地

文章浏览阅读1.6k次，点赞5次，收藏20次。【有害垃圾】：电池（1 号、2 号、5 号）、过期药品或内包装等；【可回收垃圾】：易拉罐、小号矿泉水瓶；【厨余垃圾】：小土豆、切过的白萝卜、胡萝卜，尺寸为电池大小；【其他垃圾】：瓷片、鹅卵石（小土豆大小）、砖块等。文件结构|----classes.txt # 标签种类|----data-txt\ # 数据集文件集合|----images\ # 数据集图片|----labels\ # yolo标签。_垃圾回收数据集

天气系统3------微服务_cityid=101280803-程序员宅基地

文章浏览阅读272次。之前写到通过封装的API 已经可以做到使用redis进行缓存天气信息但是这一操作每次都由客户使用时才进行更新不友好所以应该自己实现半小时的定时存入redis 使用quartz框架首先添加依赖build.gradle中// Quartz compile('org.springframework.boot:spring-boot-starter-quartz'..._cityid=101280803

python wxpython 不同Frame 之间的参数传递_wxpython frame.bind-程序员宅基地

文章浏览阅读1.8k次，点赞2次，收藏8次。对于使用触发事件来反应的按钮传递参数如下：可以通过lambda对function的参数传递：t.Bind(wx.EVT_BUTTON, lambda x, textctrl=t: self.input_fun(event=x, textctrl=textctrl))前提需要self.input_fun(self,event,t):传入参数而同时两个Frame之间的参数传..._wxpython frame.bind

cocos小游戏开发总结-程序员宅基地

文章浏览阅读1.9k次。最近接到一个任务要开发消消乐小游戏，当然首先就想到乐cocosCreator来作为开发工具。开发本身倒没有多少难点。消消乐的开发官网发行的书上有专门讲到。下面主要总结一下开发中遇到的问题以及解决方法屏幕适配由于设计尺寸是750*1336，如果适应高度，则在iphonX下，内容会超出屏幕宽度。按宽适应，iphon4下内容会超出屏幕高度。所以就需要根据屏幕比例来动态设置适配策略。 onLoad..._750*1336

ssm435银行贷款管理系统+vue_vue3重构信贷管理系统-程序员宅基地

文章浏览阅读745次，点赞21次，收藏21次。web项目的框架，通常更简单的数据源。21世纪的今天，随着社会的不断发展与进步，人们对于信息科学化的认识，已由低层次向高层次发展，由原来的感性认识向理性认识提高，管理工作的重要性已逐渐被人们所认识，科学化的管理，使信息存储达到准确、快速、完善，并能提高工作管理效率，促进其发展。论文主要是对银行贷款管理系统进行了介绍，包括研究的现状，还有涉及的开发背景，然后还对系统的设计目标进行了论述，还有系统的需求，以及整个的设计方案，对系统的设计以及实现，也都论述的比较细致，最后对银行贷款管理系统进行了一些具体测试。_vue3重构信贷管理系统

乌龟棋题解-程序员宅基地

文章浏览阅读774次。题目描述原题目戳这里小明过生日的时候，爸爸送给他一副乌龟棋当作礼物。乌龟棋的棋盘是一行 NNN 个格子，每个格子上一个分数（非负整数）。棋盘第 111 格是唯一的起点，第 NNN 格是终点，游戏要求玩家控制一个乌龟棋子从起点出发走到终点。乌龟棋中 MMM 张爬行卡片，分成 444 种不同的类型（ MMM 张卡片中不一定包含所有 444 种类型的卡片，见样例），每种类型的卡片上分别标有 1,2,3,41, 2, 3, 41,2,3,4 四个数字之一，表示使用这种卡片后，乌龟棋子将向前爬行相应的格子数

随便推点

python内存泄露的原因_Python服务端内存泄露的处理过程-程序员宅基地

文章浏览阅读1.5k次。吐槽内存泄露 ? 内存暴涨 ? OOM ?首先提一下我自己曾经历过多次内存泄露，到底有几次？我自己心里悲伤的回想了下，造成线上影响的内存泄露事件有将近5次了，没上线就查出内存暴涨次数可能更多。这次不是最惨，相信也不会是最后的内存的泄露。有人说，内存泄露对于程序员来说，是个好事，也是个坏事。怎么说？好事在于，技术又有所长进，经验有所心得…. 毕竟不是所有程序员都写过OOM的服务…. 坏事..._python内存泄露

Sensor (draft)_draft sensor-程序员宅基地

文章浏览阅读747次。1.sensor typeTYPE_ACCELEROMETER=1 TYPE_MAGNETIC_FIELD=2 (what's value mean at x and z axis)TYPE_ORIENTATION=3TYPE_GYROSCOPE=4 TYPE_LIGHT=5(in )TYPE_PRESSURE=6TYPE_TEMPERATURE=7TYPE_PRO_draft sensor

【刘庆源码共享】稀疏线性系统求解算法MGMRES(m) 之矩阵类定义三(C++)_gmres不构造矩阵-程序员宅基地

三分钟带你看完HTML5增强的【iframe元素】_iframe allow-top-navigation-程序员宅基地

文章浏览阅读1.7w次，点赞6次，收藏20次。HTML不再推荐页面中使用框架集，因此HTML5删除了<frameset>、<frame>和<noframes>这三个元素。不过HTML5还保留了<iframe>元素，该元素可以在普通的HTML页面中使用，生成一个行内框架，可以直接放在HTML页面的任意位置。除了指定id、class和style之外，还可以指定如下属性：src 指定一个UR..._iframe allow-top-navigation

Java之 Spring Cloud 微服务的链路追踪 Sleuth 和 Zipkin（第三个阶段）【三】【SpringBoot项目实现商品服务器端是调用】-程序员宅基地

文章浏览阅读785次，点赞29次，收藏12次。Zipkin 是 Twitter 的一个开源项目，它基于 Google Dapper 实现，它致力于收集服务的定时数据，以解决微服务架构中的延迟问题，包括数据的收集、存储、查找和展现。我们可以使用它来收集各个服务器上请求链路的跟踪数据，并通过它提供的 REST API 接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序，从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。除了面向开发的 API 接口之外，它也提供了方便的 UI 组件来帮助我们直观的搜索跟踪信息和分析请求链路明细，

烁博科技|浅谈视频安全监控行业发展_2018年8月由于某知名视频监控厂商多款摄像机存在安全漏洞-程序员宅基地

文章浏览阅读358次。“随着天网工程的建设，中国已经建成世界上规模最大的视频监控网，摄像头总数超过2000万个，成为世界上最安全的国家。视频图像及配套数据已经应用在反恐维稳、治安防控、侦查破案、交通行政管理、服务民生等各行业各领域。烁博科技视频安全核心能力：精准智能数据采集能力：在建设之初即以应用需求为导向，开展点位选择、设备选型等布建工作，实现前端采集设备的精细化部署。随需而动的AI数据挖掘能力:让AI所需要的算力、算法、数据、服务都在应用需求的牵引下实现合理的调度，实现解析能力的最大化。完善的数据治理能力：面_2018年8月由于某知名视频监控厂商多款摄像机存在安全漏洞