利用网络信息减少因果推断中的confounding bias--结合两种思路的新方法-程序员宅基地

技术标签: 数据分析  网络  机器学习  人工智能  html  

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入!

本期AI TIME PhD专场,我们有幸邀请到了来自亚利桑那州立大学的博士生郭若城,为我们带来他的精彩分享——利用网络信息减少因果推断中的confounding bias—结合两种思路的新方法IGNITE: A Minimax Game Toward Learning Individual Treatment Effects from Networked Observational Data。

郭若城:亚利桑那州立大学博士生,研究方向为因果推断,数据挖掘,社交网络。2017年至今师从Prof. Huan Liu。博士期间在KDD,WSDM,IJCAI,CIKM,SDM等会议发表论文20余篇,在ACM Computing Surveys发表关于因果推断与机器学习结合的综述 A Survey of Learning Causality with Data: Problems and Methods。曾作为实习生在Google X和Microsoft Research进行因果机器学习方向的研究。

一、Intro

1、什么是因果causality?

基于随机变量的定义来说,假如我们有两个随机变量T和Y,当且仅当不通过intervention改变其他变量值的时候对T的值进行改变一定会引起Y值改变,我们说T是Y的因,Y是T的果。

2、为什么关心因果效应causal effects?

因为因果效应对于决策至关重要,是决策的依据。比如,IT公司的A / B tests,药物的临床试验。

3、为什么我们要在有网络结构的观测型数据networked observational data上研究这个问题呢?

因为在真实世界中,网络结构数据非常常见,比如:社交网络、银行体系中的支行网络。这些数据非常有用,所以我们需要研究和用好这些数据。

 

网络结构的观测型数据networked observational data,由n个instance和连接它们的网络结构(常用邻接矩阵表示)组成,如图所示:

图1 Networked observational data

 

二、Challenge and Motivation

如果不能控制隐藏的混淆变量Hidden confounders,就会产生有偏差的估测,得出的错误的因果效应。于是,我们借鉴了已有的两种从数据中学习隐变量来替代隐藏的混淆变量的方法,即Balancing the representation of confounders[1],和Predicting the treatment assignments [2],以对因果效应有更准确的估测。

 

三、Identification

因果效应估计的第一步是Identification,也就是需要把因果量变成统计量。其中我们用到了measurement bias[3]的思路。

图2 Identification

 

四、IGNITE

图3 IGNITE overview

 

我们提出了一种新的Critic based representation balancing方法,同时使用了Gradient penalty [4]的方法让训练更加稳定。

图4 Critic based representation balancing

Min step

图5 Min step

我们在min step这一步会训练Graph NN和用于outcome inference的网络以做到representation balancing,同时minimize Outcome Inference Loss。

Max step

图6  Max step

在max step这一步我们不再训练和Outcome Inference相关的网络,同时固定Graph NN参数,只需训练critic,让它更加能够区别treatment group和control group对应的latent confounders分布,从而更好地丈量两个分布间的divergence。

五、Experiment

因为因果推断的特性,我们只能使用Semi-synthetic datasets。首先,我们从真实世界数据集中获取features和network information,然后基于此用公式模拟treatments and outcomes[5],我们也需要考虑多种不同hidden confounding的强度并使用K2这个参数控制,confounding越强说明问题越难,estimation bias越大。跟之前工作[6]不同的是,我们随机分配了网络边界的权重去更好地反映真实世界网络。

 

图7 Statistics of the Datasets

(Training/validation/test = 60% : 20% : 20%)

 

Baselines中,我们选用了SOTA neural network based和ensemble based causal inference methods,包括Ablation models: GATD+, GATD,GATDT,还有Network Deconfounder,Causal Network Embedding,CFRNet, CEVAE, 和Causal Forest。

Evaluation中,我们用估计出的因果效应和模拟出的ground truth相比较,并且探究模型在不同hidden confounding强度下是否具有robustness。

我们用了两个常用Metrics,如下图所示,越小则说明模型预测越好。

图8 Metrics

Results中,我们可以看到IGNITE表现优于the ablation models 和 the state-of-the-art methods,同时横向对比可以发现,当hidden confounding(K2)上升,IGNITE是error增加最少的模型。

图9 Results

 

REF

Guo, Ruocheng, et al. "IGNITE: A Minimax Game Toward Learning Individual Treatment Effects from Networked Observational Data." IJCAI, 2020.

本篇论文地址:

https://www.ijcai.org/Proceedings/2020/0625.pdf

 

[1] Shalit, Uri, Fredrik D. Johansson, and David Sontag. "Estimating individual treatment effect: generalization bounds and algorithms." In International Conference on Machine Learning, pp. 3076-3085. PMLR, 2017.

[2] Veitch, Victor, Yixin Wang, and David Blei. "Using embeddings to correct for unobserved confounding in networks." In Advances in Neural Information Processing Systems, pp. 13792-13802. 2019.

[3] Kuroki, Manabu, and Judea Pearl. "Measurement bias and effect restoration in causal inference." Biometrika 101, no. 2 (2014): 423-437.

[4] Gulrajani, Ishaan, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, and Aaron C. Courville. "Improved training of wasserstein gans." In Advances in neural information processing systems, pp. 5767-5777. 2017.

[5] Johansson, Fredrik, Uri Shalit, and David Sontag. "Learning representations for counterfactual inference." ICML. 2016.

[6] Guo, Ruocheng, Jundong Li, and Huan Liu. "Learning individual causal effects from networked observational data." In Proceedings of the 13th International Conference on Web Search and Data Mining, pp. 232-240. 2020.

整理:李嘉琪

审稿:郭若城

排版:岳白雪

AI TIME欢迎AI领域学者投稿,期待大家剖析学科历史发展和前沿技术。针对热门话题,我们将邀请专家一起论道。同时,我们也长期招募优质的撰稿人,顶级的平台需要顶级的你!

请将简历等信息发至[email protected]

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展,并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索,加强思想碰撞,打造一个知识分享的聚集地。

更多资讯请扫码关注

 

(直播回放:https://b23.tv/ifBA8L)

(点击“阅读原文”下载本次报告ppt)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/AITIME_HY/article/details/114986659

智能推荐

Aubo机械臂初学(愁)——1、gazebo和Rviz联合仿真_aubo机械臂仿真-程序员宅基地

文章浏览阅读1.7k次,点赞5次,收藏33次。auboi5机械臂初学者遇到的各种问题合集_aubo机械臂仿真

POJ_1064_Cable master【二分】_poj - 1064 二分枚举答案 floor向下取整函数 原创-程序员宅基地

文章浏览阅读1.7k次。/*Cable masterTime Limit: 1000MS Memory Limit: 10000KTotal Submissions: 43878 Accepted: 9409DescriptionInhabitants of the Wonderland have decided to hold a regional programmi_poj - 1064 二分枚举答案 floor向下取整函数 原创

【前端学习】HTML学习笔记-table_table前端心得-程序员宅基地

文章浏览阅读88次。<table><colgroup><col bgcolor='red' width=200></colgroup><thead><tr><th></th></tr><tbody><tr><td></td></t..._table前端心得

CSS 之 line-height 实现单行文字垂直居中的原理_css height=line-height 可以垂直居中-程序员宅基地

文章浏览阅读1.5k次,点赞3次,收藏12次。基础知识line-height 与 font-size 的计算值之差(在 CSS 中成为“行间距”)分为两半,分别加到一个文本行内容的顶部和底部。我们暂且称之为顶部距离和底部距离,就是上图中的蓝色区域。也就是说: line-height = 顶部距离 + 内容高度(顶线和底线之间的距离) + 底部距离;顶部距离 = 底部距离;示例一: 当line-height 等于 height 时,文字垂直居中文本默认大小16px。结果:文字垂直居中。顶部距离 = 底部距离 = (line-heig_css height=line-height 可以垂直居中

uniapp实战——实现详情其他部分的结构_uniapp 实现关系图谱-程序员宅基地

文章浏览阅读241次。QQ 1274510382Wechat JNZ_aming商业联盟 QQ群538250800技术搞事 QQ群599020441解决方案 QQ群152889761加入我们 QQ群649347320共享学习 QQ群674240731纪年科技aming网络安全 ,深度学习,嵌入式,机器强化,生物智能,生命科学。叮叮叮:产品已上线 —>关注 官方认证-微信公众号——济南纪年信息科技有限公司民生项目:商城加盟/娱乐交友/创业商圈/外包兼职开发-项目发布/安全项目:态.._uniapp 实现关系图谱

如何查看其他人的ABAP authorization check log_查看authorization-程序员宅基地

文章浏览阅读375次。Created by Jerry Wang on Jul 29, 2014 Go to start of metadata在做middleware相关的scenario操作时,有时候需要evaluate其他user的authorization check log,例如在CRM tcode SMW01里发现BDoc state为validation error,点击show error butto..._查看authorization

随便推点

I.MX6 eMMC分区挂载-程序员宅基地

文章浏览阅读244次。/********************************************************************* * I.MX6 eMMC分区挂载 * 说明: * 如果想要修改分区的挂载情况,可以修改fstab.freescale文件。 * * ..._imx6 分区挂载

【opencv-python】霍夫圆检测_霍夫圆圆心检测python-程序员宅基地

文章浏览阅读6.7k次,点赞10次,收藏55次。霍夫变换检测直线的原理是利用累加器找到最大的(ρ,θ)(ρ,θ)(ρ,θ)数对,如文章所述。圆形的数学表达式为(x−xcenter)2+(y−ycenter)2=r2(x-x_{center})^2+(y-y_{center})^2=r^2(x−xcenter​)2+(y−ycenter​)2=r2,其中(xcenter,ycenter)(x_{center},y_{center})(xcenter​,ycenter​)为圆心坐标,rrr为圆的直径。因此可知一个圆需要xcenter,ycenter,rx_{_霍夫圆圆心检测python

码仔精选,Android面试题-程序员宅基地

文章浏览阅读171次。码个蛋(codeegg) 第 822次推文码妞看世界1.Java创建对象的几种方式使用new关键字使用Class类的newInstance方法使用Constructor类的newIn..._码个蛋 《每日一道面试题》 第一期

Milking Time (poj 3616 简单DP)_poj milking time-程序员宅基地

文章浏览阅读2.5k次,点赞3次,收藏5次。题意:给个时间长度n,m个工作时间段和每个时间段能完成的工作量,一次只能做一个工作并且一旦开始做就要把它做完,要求选择的两个工作时间段之间至少相差r时间(中间需要休息嘛)求选择那些工作n时间内能完成的最大工作量。输出最大值。思路:先按工作的结束时间从小到大排序,再动态规划。dp[i]表示从头开始取到第i段所获得的最大值。二重循环,如果第i段之前的某个段的结束时间加上r小于等于第i段的开始时间,则更新dp[i]。_poj milking time

GDCM:gdcm::Global的测试程序_gbcm main show main screen-程序员宅基地

文章浏览阅读333次。GDCM:gdcm::Global的测试程序GDCM:gdcm::Global的测试程序GDCM:gdcm::Global的测试程序#include "gdcmGlobal.h"#include "gdcmDicts.h"#include "gdcmDict.h"#include "gdcmDefs.h"int TestGlobal(int, char *[]){ // case 1 // Get the global singleton: gdcm::Trace::DebugOn_gbcm main show main screen

理解 OAuth 2.0_shanks user-agent-程序员宅基地

文章浏览阅读278次。转载自http://www.ruanyifeng.com/blog/2014/05/oauth_2_0.html作者:阮一峰日期:2014年5月12日OAuth是一个关于授权(authorization)的开放网络标准,在全世界得到广泛应用,目前的版本是2.0版。本文对OAuth 2.0的设计思路和运行流程,做一个简明通俗的解释,主要参考材料为RFC 6749。更新:我后来又写了一组三篇的《OAuth 2.0 教程》,更加通俗,并带有代码实例,欢迎阅读。一、应用场景..._shanks user-agent