Generating Radiology Reports via Memory-driven Transformer

文章链接：https://www.aclweb.org/anthology/2020.emnlp-main.112.pdf
GitHub：https://github.com/cuhksz-nlp/R2Gen

摘要

医学图像常被用于临床诊断和医疗诊断的实验。写医学报告对于无经验的医生来说是一个耗时且容易出错的。因此，自动地生成医疗报告被赋予高期望去减轻放射科专家的工作量，并推动临床自动，这对于应用人工智能到医学领域是一个关键任务。本文，我们提出利用memory-driven的Transformer生成医疗报告，其中一个relational memory-driven被设计去记录生成的关键信息，一个memory-driven条件层归一化被用于整合memory到Transformer的解码器中。在两个受欢迎的诊断报告数据集上的实验结果，IU X-Ray和MIMIC-CXR，表明我们提出的方法超越之前的模型。对于语言生成指标和临床评价。尤其，这是第一个工作报告在MIMIC-CXR的生成结果据我们所知。进一步分析也证明我们的方法能够生成重要医学术语的长报告，且是具有意义的图像-文本注意力映射。

主要贡献

1. 通过memory-driven Transformer去生成医疗报告
2. relational memory去记录前一步生成过程和MCLN去整合relational memory到Transformer的解码器层中
3. 实验远超baseline和现有模型
4. 分析去调整差对于不同memory sizes的模型效果，表明我们的模型能生成必要的一老属于和具有实际意义的图像-文本注意映射的长报告

方法

The Model Structure

我们模型由三个主要部分组成，visual extractor, the encoder and decoder, 其中提出的memory和memory的组合为Transformer主要是作用于decoder中。

Visual Extractor

给定一个医疗图像，VGG或ResNet去编码作为接下来模块的源序列。

Encoder

利用Transformer的encoder，输出隐藏状态h

Decoder

我们模型的骨干解码器是来自Transformer，其中我们通过提高带有MCLN的初始层归一化，引入一个额外的memory module到其中，如图2每个解码层。因此解码过程为：

RM：relational memory

MCLN：Memory-driven Conditional LN

Objective

给定前文提到的结构，整个生成过程表示为以下链式法则：

是目标文本序列。模型被训练去最大化
通过给定Img，Y的negative conditional log-likelihood

theta是模型参数

Relational Memory

​ 对于任何相关Img，他们可能在他们的报告中共享相同的模式，并且他们被用作互相的好的参考，去帮助生成过程。如图1，模式如“The lungs are clear bilaterally”和“no evidence of focal consolidation, or pleural effusion”总同时出现于类似图像的报告中。为了利用这种特性，我们提出使用额外的组件，如relational memory去增强Transformer去学习模式并使得计算模式间的计算和生成过程更加便利。

​ 随后，relational memory使用一个矩阵去转换它的随生成时间步的状态，其中这个状态利用每一行（namely，memory slot）记录重要的模式信息表示一些模式信息。在生成期间，矩阵被一步步更新整合利用来自前一时间步的输出。然后，在时间步t，来自先前时间步的矩阵，Mt-1作为查询并且它和之前的输出的拼接作为key和value传入multi-head attention module。给定H个头在Transformer中，通过三个线性转换生成H组queries，keys and values。对于每个head，我们获得query，key and value在relational memory 通过
其中yt-1是上一步输出的嵌入。[Mt-1;yt-1]是Mt-1和yt-1的点积拼接。W是线性变换权重。Multi-head attention被用于建模Q,K and V为了描述不同模式间的关系

Z为multi-head attention module的输出。考虑到伴随解码过程用循环方式的relational memory，具有潜在地梯度消失和爆炸问题。我们因此引入残差连接和门控机制：

其中fmlp表示MLP。在relational memory中的门控机制的细节结构如下：

其中忘记和输入门被用于平衡Mt-1和yt-1的输入。为了确保yt-1能被用于计算Mt-1，被扩充为Yt-1通过赋值多个维度。因此，忘记和输出门为：

门机制最后输出为：

Mt表示整个relational memory module在时间步t的输出

Memory-driven Conditional Layer Normalization

​ 尽管memory在许多NLP任务中展现了其效果，但它默认被用于编码单独的设计。然而，给定文本生成是一个动态的过程并且在每个解码步受到输出影响，memory期望去更好整合到decoder中。

​ 因此，我们提出一个新颖的MCLN并利用它去整合relational memory去增强Transformer的解码。传统的Transformer，为了提高泛化性，alpha和beta是两个关键参数对于缩放和转移学习的表示。因此我们提出整合relational memory通过MCLN，通过喂入它的输出Mt到alpha和beta。接下来，这种设计从memory中获得好处，同时防止它影响到Transformer的太多参数，因此，一些用于生成的核心信息不受影响。

​ 每个Transformer，我们利用三个MCLNs，其中第一个MCLN的输出是作为query，接下来来自编码器的multi-head attention module与隐藏层一起作为key and value去传入每个MCLN，在时间步t，relational memory Mt的输出被扩展为Mt。然后一个MAP被用于去与猜测来自mt的变换
通过下面更新：

被用于平均来自前一个生成的结果的multi-head attention module的平均值和方差：

r是来自之前的模块的输出，
是r的平均值和标准差。
来自MCLN被传入下一个模块（1st MCLN and 2nd MCLN）或作为生成的最后输出（3rd MCLN）。

实验结果

IU X-Ray 和 MIMIC-CXR数据集的训练校验测试集的各个Image，report，patient的长度统计：

在IU X-Ray 和 MIMIC-CXR数据集上的消融实验 其指标：

和现有模型在两个数据集上的指标比较：



个人见解
papper更改Transformer的结构的地方较为新颖。并且提供了开源代码具有极大的参考和学习价值。
不同于之前的各种medical report generation方法，利用relational memory 和 MCLN结构引入Transformer的decoder。
其实验效果与之前的文章相比可能不是SOTA。 但idea值得一看