【论文笔记】基于多分类器和对抗语料判别器的多语料库语音情感识别_多分类的wa-程序员宅基地

Reconciliation of Multiple Corpora for Speech Emotion Recognition by Multiple Classifiers with an Adversarial Corpus Discriminator

INTERSPEECH 2020 - Fairy Devices, Japan

关键词： 语音情感、多任务学习、对抗学习、多语料库

摘要

概述： 利用多任务学习和对抗学习压缩语料库特有因素以更好利用语料库，本篇文章研究的是训练数据的生成问题，也是一个新的思路
情感计算中主要的问题就是语料库的评价指标不一致，之前大多数研究的做法都是抛弃或者合并一些情感，但是会造成数据损失，再者语料库本身的许多特质也造成不能充分利用整个语料库。本文提出一个共享情感编码器，多个分类器和对抗语料库判别器，采用多任务学习和对抗学习训练。

简介

SER中使用很多神经网络模型
虽然标签一样，但是跨语料库的情感表达是不一样的，不同语料库之间的情感定义也是不同的，我们需要消除他们之间的差异而不受单个语料库自身因素（语言、录音环境等）的限制
之前的相关研究有的丢弃非共同标签的数据，或者合并为公共标签；或者用对抗学习合并域，这些方法改变了情感表达的边界或者抛弃了一些类别，导致大量的信息损失；直接使用多分类器，每个分类器对应一个语料库，但是没有消除语料库本身因素的影响

方法

模型结构

模型结构
语料库之间共享一个编码器，输入的语音特征被映射到嵌入空间，无论数据来自哪个数据库。每个语料库都对应一个分类器，这是为了保证不丢弃或者合并语料库中的情绪。除此之外还有一个对语料库标签的判别器。
只用多分类器，就无法消除语料库自身因素的影响，不同语料库的数据在特征空间的距离较远；只用对抗学习，只有但分类器的话，分类结果只有积极和消极两个，情感的内部信息就会丢失，所以将两者进行结合。

对抗学习

总损失函数的定义：
$\mathcal{L}=\mathcal{L}_{emo}+\mathcal{L}_{cor}$
多任务学习损失函数：
$\mathcal{L}_{emo}=\sum_{i=1}^{N}\mathcal{L}_{emo}^{(i)}$
对抗学习损失函数：
$\mathcal{L}_{adv}=-\mathcal{L}_{cor}$
两个部分学习率不同，首先更新分类器和编码器使得多任务损失最小；然后更新对抗学习部分，这时编码器参数固定；最后固定对抗学习部分，通过对抗loss更新编码器使其减少语料库间的相关因素，也就是让模型分不清这些特征来自于哪个语料库。

实验

特征和模型细节

将所有语段分割为长3s，位移1s的片段，必要时用0填补，标签是该片段所在语段的标签。采用log梅尔声谱作为输入特征，并且采用-score归一化。
编码器采用的是ACRNN（Attention-Based Convelutional Reccurent Neural Network），因为在SER中其效果较佳。对抗网络部分和分类器均采用三层128cells的全连接，后接一个softmax层。ACRNN模型具体结构：
ACRNN

语料库

EmoDB和CREMA-D，EMO-DB为德语，包含535条语音，7类情感；CREMA-D有6类情感。

实验设置

我们有单语料库模型、多情感分类模型和带语料库判别器的多情感分类模型。单语料库模型只有一个情感分类器而且在一个语料库训练；多情感分类模型有两个分类器；最后一个模型加上了判别器。实验采用LOSO十折交叉验证，用WA和UA作为指标。这里交叉验证方法解释的很清楚。

结果

从UA和WA的结果可以看出，提出模型的效果优于其它两个模型；还可以看出，多分类器结果优于单分类器；数据少的EMO-DB提升比CREMA-D还大，说明多分类器在语料很少情况下也表现得很好。
在这里插入图片描述

通过绘制混淆图，我们把一个样本被分类为语料库的后验概率小于0.8称为语料库模糊样本，否则为语料库明晰样本。对EMODB来说，disgust是混淆的，容易被CREMA-D分类器分类为anger。相反，对CREMA-D来说最容易混淆，易被EMODB分类器分类为anger或者disgust。可能两个语料库的anger和disgust很相似，说明两语料库有重叠部分。
在这里插入图片描述
用UMAP可视化特征映射空间，说明对抗学习使得两个数据库在特征空间距离更近了。说明与特征相关的实验，采用这种可视化比较直观

问题

是否能用聚类？有没有类似的文章？
就用两个语料库是不是太少了？真正要实用是不是还需要更多语料库的支持？有考虑过算力的问题吗？
没有说怎么得到混淆图的

本文链接：https://blog.csdn.net/cherreggy/article/details/121343264

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

通用存储过程分页(top max模式)版本(性能相对之前的not in版本极大提高) _top 搭配not in 性能-程序员宅基地

文章浏览阅读1.3k次。 --/*-----存储过程分页处理孙伟 2005-03-28创建 -------*/--/*----- 对数据进行了2分处理使查询前半部分数据与查询后半部分数据性能相同 -------*/--/*-----存储过程分页处理孙伟 2005-04-21修改添加Distinct查询功能-------*/--/*-----存储过程分页处理孙伟 2005-05-18修改多字段排序规则问题-_top 搭配not in 性能

vue新玩法VueUse-工具库@vueuse/core-程序员宅基地

文章浏览阅读1.5w次，点赞3次，收藏10次。VueUse官方链接一、什么是VueUseVueUse不是Vue.use ！！！它是一个基于 Composition API 的实用函数集合，下面是具体的一些用法二、如何引入import { 具体方法 } from ‘@vueuse/core’三、下面来看看一些具体的用法1、useMouse：监听当前鼠标坐标的一个方法，他会实时的获取鼠标的当前的位置2、usePreferredDark：判断用户是否喜欢深色的方法，他会实时的判断用户是否喜欢深色的主题3、useLocalStorage：数据_vueuse/core

统计学5大基本概念，建议收藏！（文末送书）-程序员宅基地

文章浏览阅读736次。转自：爱数据LoveD大家好，我是小z，也可以叫我阿粥~今天给大家分享一波统计学重要概念，顺便前排提示文末送书~从高的角度来看，统计学是一种利用数学理论来进行数据分析的技术。象柱状图这种基本的可视化形式，会给你更加全面的信息。但是，通过统计学我们可以以更富有信息驱动力和针对性的方式对数据进行操作。所涉及的数学理论帮助我们形成数据的具体结论，而不仅仅是猜测。利用统计学，我们可以更深入、更细致地观察数..._统计学五大基本原理

Java多线程4：synchronized的使用场景和原理简介_synchronized常见使用场景 threadsyntest.new myrunnable3-程序员宅基地

文章浏览阅读2.4k次，点赞3次，收藏9次。一、synchronized使用1.1 synchronized介绍在多线程并发编程中synchronized一直是元老级角色，很多人都会称呼它为重量级锁。但是，随着Java SE 1.6对synchronized进行了各种优化之后，有些情况下它就并不那么重了。synchronized可以修饰普通方法，静态方法和代码块。当synchronize..._synchronized常见使用场景 threadsyntest.new myrunnable3

Windows python用impyla连接远程Hive数据库_python impyla demo-程序员宅基地

文章浏览阅读260次。安装下述包：thirftpythirft-saslthirftpure-sasl（卸载sasl，若要用pyhive，sasl轮子安装路径Link）impyla# -*- coding:UTF-8 -*-from impala.dbapi import connect#下述host只是个demo，需填入真实ipconn = connect(host='11.22.33.44', port=21050, auth_mechanism='PLAIN',user='yourusername',pa_python impyla demo

php 编译 pdo_mysql_Linux正确编译pdo_mysql扩展-程序员宅基地

文章浏览阅读280次。错误编译pdo_mysqlphp扩展的操作流程，以及解决错误并成功完成编译pdo_mysql新编译的PHP环境运行项目时报错PHP Fatal error: Undefined class constant 'MYSQL_ATTR_INIT_COMMAND'原因是没有加载pdo_mysql扩展错误配置pdo_mysql及编译cd ext/pdo_mysqlphpize./configure --w..._/usr/local/php7.4.24/ext/pdo_mysql/php_pdo_mysql_int.h:29:11: fatal error: m

随便推点

python语言程序设计实践教程陈东上海交通大学答案_《软件开发训练营:ASP.NET开发一站式学习难点》杨云著【摘要书评在线阅读】-苏宁易购图书...-程序员宅基地

文章浏览阅读2.7k次。商品参数作者：杨云著出版社：清华大学出版社出版时间：2013-8-1版次：1印次：1印刷时间：2013-8-1页数：434开本：16开装帧：平装ISBN：9787302318286版权提供：清华大学出版社编辑推荐《软件开发训练营·ASP.NET开发一站式学习：难点·案例·练习》特色：1．《软件开发训练营·ASP.NET开发一站式学习：难点·案例·练习》所讲内容既避开艰涩难懂的理论知识，又覆盖了编程..._python语言程序设计实践教程陈东课后习题答案解析

解决：Qt项目构建成功，但是运行异常退出。_qt安装后构建可以,运行就一直提示程序异常-程序员宅基地

文章浏览阅读2k次。构建：从debug换成release：就可以正常运行了_qt安装后构建可以,运行就一直提示程序异常

李宏毅2021机器学习笔记（一）_李宏毅2021机器学习笔记百度-程序员宅基地

文章浏览阅读601次。什么是机器学习？简单来说就是让机器帮我们找一个函数，即一个映射。如声音—>文字的语音识别函数自变量可以是向量，矩阵（图像识别），序列输出是数值、图片等课程讲什么？一、监督学习，给定图片人工的告诉机器其类型，训练模型，让机器拥有 f（图片）—>类型这一函数二、训练模型之前进行Pre-train，让机器学习如何辨别图片这一基本功，因为人工输入图片类型过于繁琐。只需传入大量图片资料即可自动训练。如把图片翻转、变色，询问机器是不是可以..._李宏毅2021机器学习笔记百度

stdmap c++两个map合并成一个map ，c++多个map的合并_c++ map合并-程序员宅基地

文章浏览阅读1.7k次。两个map合并成一个map，用insert()函数就可以了，看代码：#include <map>#include <iostream>int main(){ std::map<int, int> v1 = {{1, 1}, {2, 1}, {3, 1}, {4, 1}, {5, 1}}; std::map<int, int> v2 = { {3, 2}, {4, 2}, {5, 2}, {6, 2}, {7_c++ map合并

CLion：使用CLion新建一个C语言项目_clion创建c语言项目-程序员宅基地

文章浏览阅读1.3w次，点赞12次，收藏85次。步骤1、2、3、我喜欢一个文件夹下存放多个项目，所以删掉生成的CMakeList.txt、main.c和cmake-build-debug文件。新建一个List目录，并在该目录下新建CMakeList.txt4、创建一个C文件进行测试5、创建好后，提示在List文件夹下的CMakeList.txt添加：include_directories(.)add_executable(List-List01 List01.c) //List是文件夹名称，List01.c是具体文件名称_clion创建c语言项目

鸟哥的 linux 的私房菜基础学习篇,鸟哥的 Linux 私房菜 -- 基础学习篇-程序员宅基地

文章浏览阅读5k次。再次强调：底下的几篇短文是学习 Linux 的基础文件，这些文件是基础中的基础，如果您能将其中的文件都看完，并且消化过，那么未来在管理 Linux 主机以及架设网站方面，就能够达到『事半功倍』的成效，请不要忽略这部份了！否则，再怎么讨论都是枉然的啦！ ^_^第一部份：Linux 的规划与安装Linux 本身虽然具有相当强大的功能，不过，如果不能理解 Linux 的工作能力，那么 Linux 能做的..._鸟哥linux基础篇