技术标签： 算法 python 机器学习 人工智能 Datawhale-集成学习笔记
在集成学习中，主要的分支就只有两块。其中一个是bagging算法，另外一个是boosting算法。在bagging的学习中，我们可以得知bagging主要是针对数据集进行操作，进行随机的采样。同时我们也论证过，bagging只影响了结果的方差，通过减小方差来得出更好的结果。但是，bagging并没有影响的结果的期望，也就是说bagging并没有减小结果的偏差。
Boosting则是一种截然不同的思想。Boosting的训练中使用的是同一个训练集。通过对这个训练集反复训练以得到一系列的简单模型，并通过一种策略对这些模型进行整合，构建一个更加强大的训练模型。很显然，Boosting提升的是模型本身的性能，表现在结果上也就是减小的是模型的偏差。
我们可以总结一下bagging和boosting的区别：
所以对于Boosting算法来说，我们需要关注的只有两个点:
针对上述的两个问题：
Adaboost是这样解决的：提高在上一轮中被弱分类器错误分类的样本的权值，减小被正确分类样本的权值。这样被错误分类的样本在下一轮的训练中就会受到更高的关注。而对于弱分类器的组合，则使用的是加权的投票表决方法，让错误率低的模型在表决中更加具备话语权。
Adaboost算法的步骤：(为了方便说明，假设是一个二分类任务)
输入：训练数据集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . , ( x N , y N ) T={(x_1, y_1),(x_2,y_2),(x_3,y_3),...,(x_N,y_N)} T=(x1,y1),(x2,y2),(x3,y3),...,(xN,yN)，其中 x i ∈ X ⊆ R n x_i \in \mathcal{X}\subseteq \mathbf{R}^{n} xi∈X⊆Rn， y i ∈ Y = − 1 , + 1 y_i \in \mathcal{Y} = {-1, +1} yi∈Y=−1,+1，弱学习方法
输出：最终的分类器G(x)。
初始化训练数据的权值分布
D 1 = ( w 11 , w 12 , w 13 , . . . , w 1 i , . . . w 1 N ) w 1 i = 1 N i = 1 , 2 , 3 , . . . N D_1=(w_{11},w_{12},w_{13},...,w_{1i},...w_{1N})\quad\quad w_{1i}={1\over N}\quad\quad i=1,2,3,...N D1=(w11,w12,w13,...,w1i,...w1N)w1i=N1i=1,2,3,...N
对于M个epoch来说， m = 1 , 2 , . . . , M m=1,2,...,M m=1,2,...,M
使用具有权值分布 D m D_m Dm的训练集学习得到基本分类器 G m : X − > − 1 , + 1 G_m: \mathcal{X} -> {-1, +1} Gm:X−>−1,+1
计算 G m ( x ) G_m(x) Gm(x)在训练数据集上的分类误差率
e m = ∑ i = 1 N P ( G m ( x i ) ≠ y i ) = ∑ i = 1 N w m i I ( G m ( x i ) ≠ y i ) e_m=\sum_{i=1}^NP(G_m(x_i) \neq y_i)=\sum_{i=1}^Nw_{mi}I(G_m(x_i)\neq y_i) em=i=1∑NP(Gm(xi)=yi)=i=1∑NwmiI(Gm(xi)=yi)
计算 G m ( x ) G_m(x) Gm(x)的系数
α m = 1 2 log 1 − e m e m \alpha_m={1\over2}\log{
{1-e_m}\over{e_m}} αm=21logem1−em
更新训练数据集的权值分布：
D m + 1 = ( w m + 1 , 1 , ⋯ , w m + 1 , i , ⋯ , w m + 1 , N ) D_{m+1}=\left(w_{m+1,1}, \cdots, w_{m+1, i}, \cdots, w_{m+1, N}\right) Dm+1=(wm+1,1,⋯,wm+1,i,⋯,wm+1,N)
w m + 1 , i = w m i Z m exp ( − α m y i G m ( x i ) ) , i = 1 , 2 , ⋯ , N w_{m+1, i}={ {w_{m i}}\over{Z_{m}}} \exp \left(-\alpha_{m} y_{i} G_{m}\left(x_{i}\right)\right), \quad i=1,2, \cdots, N wm+1,i=Zmwmiexp(−αmyiGm(xi)),i=1,2,⋯,N
在这里 Z m Z_m Zm是规范化因子：
Z m = ∑ i = 1 N w m i exp ( − α m y i G m ( x i ) ) Z_m=\sum_{i=1}^Nw_{mi}\exp(-\alpha_my_iG_m(xi)) Zm=i=1∑Nwmiexp(−αmyiGm(xi))
它可以使 D m + 1 D_{m+1} Dm+1成为概率分布。
构建基本分类器的线性模型。
f ( x ) = ∑ m = 1 M α m G m ( x ) f(x)=\sum_{m=1}^M\alpha_mG_m(x) f(x)=m=1∑MαmGm(x)
因为是二分类模型,所以我们可以使用符号函数来获取最终的结果：
G ( x ) = s i g n ( f ( x ) ) G(x)=sign(f(x)) G(x)=sign(f(x))
我们可以对上述的过程做一些说明：
什么是分类误差率？原本在等权值的数据集中，我们计算误差率应该是错误的样本数量除以总样本的数量。但是，在不等权重的样本集中，不可以直接这样计算。可以转化一下理解的方式，我们在初始化样本权重的时候，使用的是全部为等值 1 N 1\over N N1。所以可以这样理解，错误率就是错误样本权重的和。
这个结论也可以引申到不等权重的样本集中。所以我们记错误率为：
e m = ∑ G ( x i ) ≠ y i N w m i e_m = \sum_{G(x_i) \neq y_i}^N w_{mi} em=G(xi)=yi∑Nwmi
关于子模型权重的理解：
α m = 1 2 log 1 − e m e m \alpha_m={1\over2}\log{
{1-e_m}\over e_m} αm=21logem1−em
当 e m ≤ 1 2 e_m \leq {1 \over 2} em≤21时， α ≥ 0 \alpha \geq 0 α≥0。在这里我们应该是可以保证 e m ≤ 1 2 e_m \leq {1 \over 2} em≤21的，因为即便是没有训练过的随机分类模型也应该会有50%的准确率。且根据弱可学习的概念，我们学习到的模型原本就应当准确率大于50%。
根据对数函数的特性，当 e m e_m em减小的时候 1 − e m e m {1-e_m} \over e_m em1−em会增加，模型的权重 α m \alpha _m αm也会增加。
我们可以知道， α m \alpha _m αm的和并不为1。但是，我们认为最终结果 G ( x ) G(x) G(x)的数值对结果并无影响，我们关注的只是最终输出的符号。可以认为 ∣ G ( x ) ∣ |G(x)| ∣G(x)∣的大小为结果的确信度。
对样本集权重更新的理解：
使用以e为低的指数，在指数部分上为 − α m y i G m ( x i ) - \alpha _my_iG_m(x_i) −αmyiGm(xi)。当预测正确时，指数部分为负数。当预测错误的时候，指数部分为正数。因为指数函数的特性，预测正确时，权重会乘以一个小于1大于0的数，预测失败时，会乘以一个权重大于1的数。保证预测正确的时候，权重减小，预测失败时权重增加。
最终 Z m Z_m Zm的功能是为了保证最终的权重和为1.
文章浏览阅读1.9k次。mysql数据库是一种开放源代码的关系型数据库管理系统，有很多朋友都在使用。一些在linux系统上安装了mysql数据库的朋友，却不知道该如何对mysql数据库进行配置。那么linux该如何启动mysql服务呢？接下来小编就给大家带来linux启动mysql服务的命令教程。具体步骤如下：1、首先，我们需要修改mysql的配置文件，一般文件存放在/etc下面，文件名为my.cnf。2、对于mysql..._linux中 mysql 启动服务命令
文章浏览阅读537次。详解OJ(Online Judge)中PHP代码的提交方法及要点Introduction of How to submit PHP code to Online Judge SystemsIntroduction of How to commit submission in PHP to Online Judge Systems在目前常用的在线oj中，codeforces、spoj、uva、zoj..._while(fscanf(stdin, "%d %d", $a, $b) == 2)
文章浏览阅读534次。一、设置MyEclipse编码(1)修改工作空间的编码方式：Window-->Preferences-->General-->Workspace-->Text file encoding(2)修改一类文件的编码方式：Window-->Preferences-->General-->content Types-->修改default Encoding(..._java修改快捷缩写内容
文章浏览阅读1.4w次，点赞19次，收藏76次。1.前言市面上关于Android的技术书籍很多，几乎每本书也都会涉及到蓝牙开发，但均是上层应用级别的，而且篇幅也普遍短小。对于手机行业的开发者，要进行蓝牙模块的维护，就必须从Android系统底层，至少框架层开始，了解蓝牙的结构和代码实现原理。这方面的文档、网上的各个论坛的相关资料却少之又少。分析原因，大概因为虽然蓝牙协议是完整的，但是并没有具体的实现。蓝牙芯片公司只负责提供最底层的API_蓝牙原理图详解
文章浏览阅读7.7k次。图/源于网络文/曲尚菇凉1.今天早上出门去逛街，在那家冰雪融城店里等待冰淇淋的时候，听到旁边两个女生在讨论很久之前的一期《奇葩说》。那期节目主持人给的辩论题是“从未在一起和最终没有在一起哪个更遗憾”，旁边其中一个女生说，她记得当时印象最深的是有个女孩子说了这样一句话。她说:“如果我喜欢一个人呢，我就从第一眼到最后一眼，把这个人爱够，把我的感觉用光，我只希望那些年让我成长的人是他，之后的那些年他喝过..._从未在一起更遗憾
文章浏览阅读927次，点赞15次，收藏13次。龙芯是中国的一款自主设计的处理器架构，由中国科学院计算技术研究所（ICT）主导研发。龙芯处理器最早的版本为Loongson-1，其后发展出Loongson-2、Loongson-3等系列。这些处理器主要用于高性能计算、服务器、嵌入式系统等领域。Loongson架构具有独立知识产权，是中国自主研发的一种指令集架构。龙芯的设计旨在实现对计算机体系结构的自主掌握，减少对外部知识产权的依赖。RT-Thread（Real-Time Thread）是一个开源的实时嵌入式操作系统。_龙芯1b200参数
文章浏览阅读175次。Spring Cloud Alibaba 介绍Sping体系Spring 以 Bean（对象） 为中心，提供 IOC、AOP 等功能。Spring Boot 以 Application（应用） 为中心，提供自动配置、监控等功能。Spring Cloud 以 Service（服务） 为中心，提供服务的注册与发现、服务的调用与负载均衡等功能。Sping Cloud介绍官方介绍 Tools for building common patterns in distributed systems_sprngcloud alba
文章浏览阅读3.2k次，点赞4次，收藏21次。我这里是根据之前在测试数据类项目过程中的一些总结经验和掉过个坑，记录一下，可以给其他人做个参考，没什么高深的东西，但是如果不注意这些细节点，后期也许会陷入无尽的扯皮当中。1 需求实现的准确度根据产品需求文档描述发现不明确不详细的或者存在歧义的地方一定要确认，例如数据表中的一些字段，与开发和产品确认一遍，如有第三方相关的，要和第三方确认，数据类项目需要的是细心，哪怕数据库中的一个字段如果没有提前对清楚，后期再重新补充，会投入更大的精力。2 数据的合理性根据业务场景/常识推理，提..._基础字段的测试点
文章浏览阅读491次。大家好，我是爱学习的小xiong熊妹。在工作和面试中，很多小伙伴会遇到“对XX行业进行分析”的要求。一听“行业分析”四个字，好多人会觉得特别高大上，不知道该怎么做。今天给大家一个懒人攻略，小伙伴们可以快速上手哦。一、什么是行业？在做数据分析的时候，“行业”两个字，一般指的是：围绕一个商品，从生产到销售相关的全部企业。以化妆品为例，站在消费者角度，就是简简单单的从商店里买了一支唇膏回去。可站在行业角度，从生产到销售，有相当多的企业在参与工作（如下图）在行业中，每个企业常常扮._码工小熊
文章浏览阅读1.6w次，点赞2次，收藏2次。还需要做更多的研究来解决大型语言模型中的偏见、有毒评论和幻觉的风险。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。在大型语言模型空间中训练像 LLaMA 这样的小型基础模型是可取的，因为它需要更少的计算能力和资源来测试新方法、验证他人的工作和探索新的用例。作为 Meta 对开放科学承诺的一部分，今天我们公开发布 LLaMA（大型语言模型元 AI），这是一种最先进的基础大型语言模型，旨在帮助研究人员推进他们在 AI 子领域的工作。_llma
文章浏览阅读223次，点赞3次，收藏5次。1.背景介绍制造业是国家经济发展的重要引擎，其产能和质量对于国家经济的稳定和发展具有重要意义。随着工业技术的不断发展，制造业的生产方式也不断发生变化。传统的制造业通常依赖于人工操作和手工艺，这种方式的缺点是低效率、低产量和不稳定的质量。随着信息化、智能化和网络化等新技术的出现，制造业开始向智能制造迈出了第一步。智能制造的核心是通过大数据、人工智能、计算机视觉等技术，实现制造过程的智能化、自动化...
文章浏览阅读938次。系列文章目录文章目录系列文章目录 前言 一、ansible是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言菜鸟一只，刚开始使用，仅作以后参考使用。边学习，边记录，介绍一下最基础的使用，可能会有理解不到位的地方，可以共同交流，废话不多说，走起。一、ansible 简介？ansible是自动化运维工具的一种，基于Python开发，可以实现批量系统配置，批量程序部署，批量运行命令，ansible是基于模块工作的，它本身没有批量部署的能力，真正.._pip安装ansible