半监督学习将再度兴起！谷歌祭出大杀器：无监督数据增强-程序员宅基地

近日，谷歌AI发布了一篇博文，博文指出可以对无标注数据执行数据增强，从而显著提高了半监督学习(SSL)的性能，因此研究人员相信"半监督学习将再度兴起！"

以下是具体内容：

很大程度上，影响深度学习成功的关键因素有：算法的进步、并行处理硬件(GPU / TPU)以及大规模标注数据集的可用性(如ImageNet）。

然而，当标注数据稀缺时，很难通过训练使神经网络表现良好。这种情况下，研究人员可以应用数据增强技术，例如：通过转述一个句子或旋转一个图像，可以有效加的训练数据量。

近来，在用于自然语言处理（NLP）、视觉和语音等领域的数据增强方法上，已经取得了重大进展。遗憾的是，数据增强通常仅限于监督学习，在这种学习中，标签需要从原始示例迁移到扩展示例。

640?wx_fmt=png

基于文本(顶部)或基于图像(底部)的训练数据的增强操作示例。

在近来的工作中《用于一致性训练的无监督数据增强(UDA)》一文中，我们发现可以对无标注数据执行数据增强，从而显著提高半监督学习(SSL)的性能。

基于此，我们相信SSL会再度兴起，理由如下：

(1)SSL可以匹配甚至优于使用更多标记数据的纯监督学习。

(2)SSL可用于文本和视觉的跨领域工作。

(3)SSL可结合迁移学习，例如，在BERT的微调。

GitHub传送门：

https://github.com/google-research/uda

无监督数据增强

无监督数据增强(UDA)同时使用标记数据和未标记数据。为了使用标记数据，UDA使用监督学习的标准方法来计算损失函数以此来训练模型，如下图左侧所示。

对于未标注的数据，在一致性训练中，应用于强制未标注的示例和增强未标注的示例的预测相似。如图右侧所示。

在这里，将相同的模型应用于未标注的示例和增强的对应示例，以生成两个预测模型，从中计算一致性损失(即两个预测分布之间的距离)。然后，UDA通过联合优化标注数据的监督损失和未标注数据的无监督一致性损失来计算最终的损失。

640?wx_fmt=png

关于无监督数据增强的概述

左: 使用标注数据计算标准监督损失。右:使用未标注的数据，计算示例与其增强版本之间的一致性损失。

通过最小化一致性损失，UDA可将标注信息从已标注示例传播到未标注示例。直观地说，可以将UDA看作一个隐式迭代过程。

首先，该模型通过少量标记示例正确预测一些未标注的示例，通过一致性损失将标注信息传播到到增强的对应项中。

随着时间的推移，将会正确预测更多未标注的示例，这反映了模型被普遍改进。其他各类噪音也经过了一致性训练的测试(如高斯噪声、对抗性噪声等)，然而，我们发现数据增强比这些表现都好，从而在语言到视觉的各种任务上都达到了最先进的水平。UDA根据任务不同应用（包括反向翻译、自动增强和TF-IDF单词替换）等不同的增强方法，

NLP和计算机视觉的基准

在IMDb的情绪分析任务中，只用20个标记示例，UDA通过50000个未标记的示例，实现了4.20的错误率。在之前的模型训练中，UDA使用25,000个标记的示例，错误率为4.32。上述结果表明，在低数据环境下，UDA更有效。大数据体制下，UDA使用完整的训练集，提供了巨大的收益。

640?wx_fmt=png

IMDb的基准是一种情绪分析任务。在不同培训规模的监督学习中，UDA最先进。

在CIFAR-10半监督学习的基准上，UDA的性能比现有的SSL方法(如VAT、ICT和MixMatch)都要好得多。

使用4k的示例，UDA的错误率为5.27，与使用50k示例的全监督模型的性能相匹配。此外，由于采用了更先进的体系结构PyramidNet+ShakeDrop, UDA实现了2.7的最新错误率，与之前最好的半监督结果的错误率相比降低了45%以上。

在SVHN上，UDA使用250个标注的样本，错误率是2.85，与经过~70k标注样本训练的全监督模型的性能相匹配。

640?wx_fmt=png

基于CIFAR-10的SSL基准测试是一个图像分类任务。UDA超越了所有使用Wide-ResNet-28-2结构的半监督学习方法，在4000个示例中，UDA的性能与50,000个示例的完全监督设置相匹配。

在ImageNet上，使用10%标注的示例时，UDA将top-1的准确率从55.1%提高到68.7%。在高数据状态下，使用完全标注集和额外130万个未标注的示例，UDA将top-1的精度从78.3%提高到79.0%。

参考链接：

https://ai.googleblog.com/2019/07/advancing-semi-supervised-learning-with.html

欢迎关注磐创博客资源汇总站：http://docs.panchuang.net/

欢迎关注PyTorch官方中文教程站：http://pytorch.panchuang.net/

本文链接：https://blog.csdn.net/fendouaini/article/details/95559093

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

HTML5 Web SQL 数据库_方式准则的定义-程序员宅基地

文章浏览阅读1k次。1、HTML5 Web SQL 数据库 Web SQL 数据库 API 并不是 HTML5 规范的一部分，但是它是一个独立的规范，引入了一组使用 SQL 操作客户端数据库的 APIs。如果你是一个 Web 后端程序员，应该很容易理解 SQL 的操作。Web SQL 数据库可以在最新版的 Safari, Chrome 和 Opera 浏览器中工作。2、核心方法以下是规范中定义的三个_方式准则的定义

spring Boot 中使用线程池异步执行多个定时任务_springboot启动后自动开启多个线程程序-程序员宅基地

文章浏览阅读4.1k次，点赞2次，收藏6次。spring Boot 中使用线程池异步执行多个定时任务在启动类中添加注解@EnableScheduling配置自定义线程池在启动类中添加注解@EnableScheduling第一步添加注解，这样才会使定时任务启动配置自定义线程池@Configurationpublic class ScheduleConfiguration implements SchedulingConfigurer..._springboot启动后自动开启多个线程程序

Maven编译打包项目 mvn clean install报错ERROR_mvn clean install有errors-程序员宅基地

文章浏览阅读1.1k次。在项目的target文件夹下把之前"mvn clean package"生成的压缩包(我的是jar包)删掉重新执行"mvn clean package"再执行"mvn clean install"即可_mvn clean install有errors

navacate连接不上mysql_navicat连接mysql失败怎么办-程序员宅基地

文章浏览阅读974次。Navicat连接mysql数据库时，不断报1405错误，下面是针对这个的解决办法：MySQL服务器正在运行，停止它。如果是作为Windows服务运行的服务器，进入计算机管理--->服务和应用程序------>服务。如果服务器不是作为服务而运行的，可能需要使用任务管理器来强制停止它。创建1个文本文件(此处命名为mysql-init.txt)，并将下述命令置于单一行中：SET PASSW..._nvarchar链接不上数据库

Python的requests参数及方法_python requests 参数-程序员宅基地

文章浏览阅读2.2k次。Python的requests模块是一个常用的HTTP库，用于发送HTTP请求和处理响应。_python requests 参数

近5年典型的的APT攻击事件_2010谷歌网络被极光黑客攻击-程序员宅基地

文章浏览阅读2.7w次，点赞7次，收藏50次。APT攻击APT攻击是近几年来出现的一种高级攻击，具有难检测、持续时间长和攻击目标明确等特征。本文中，整理了近年来比较典型的几个APT攻击，并其攻击过程做了分析（为了加深自己对APT攻击的理解和学习）Google极光攻击2010年的Google Aurora(极光)攻击是一个十分著名的APT攻击。Google的一名雇员点击即时消息中的一条恶意链接，引发了一系列事件导致这个搜_2010谷歌网络被极光黑客攻击

随便推点

微信小程序api视频课程-定时器-setTimeout的使用_微信小程序 settimeout 向上层传值-程序员宅基地

文章浏览阅读1.1k次。JS代码 /** * 生命周期函数--监听页面加载 */ onLoad: function (options) { setTimeout( function(){ wx.showToast({ title: '黄菊华老师', }) },2000 ) },说明该代码只执行一次..._微信小程序 settimeout 向上层传值

uploadify2.1.4如何能使按钮显示中文-程序员宅基地

文章浏览阅读48次。uploadify2.1.4如何能使按钮显示中文博客分类：uploadify网上关于这段话的搜索恐怕是太多了。方法多也试过了不知怎么，反正不行。最终自己想办法给解决了。当然首先还是要有fla源码。直接去管网就可以下载。[url]http://www.uploadify.com/wp-content/uploads/uploadify-v2.1.4...

戴尔服务器安装VMware ESXI6.7.0教程（U盘安装）_vmware-vcsa-all-6.7.0-8169922.iso-程序员宅基地

文章浏览阅读9.6k次，点赞5次，收藏36次。戴尔服务器安装VMware ESXI6.7.0教程（U盘安装）一、前期准备1、下载镜像下载esxi6.7镜像：VMware-VMvisor-Installer-6.7.0-8169922.x86_64.iso这里推荐到戴尔官网下载，Baidu搜索“戴尔驱动下载”，选择进入官网，根据提示输入服务器型号搜索适用于该型号服务器的所有驱动下一步选择具体类型的驱动选择一项下载即可待下载完成后打开软碟通（UItraISO），在“文件”选项中打开刚才下载好的镜像文件然后选择启动_vmware-vcsa-all-6.7.0-8169922.iso