标签：学习 基于 蔡瑞初 因果性 研究进展 推断 方法 因果
摘 要
本文主要从因果推断方法和因果性学习这两个方面介绍和分析了目前国内外相关领域的研究进展，探讨了这两方面研究的发展方向。
关 键 字
人工智能；因果推断；因果性学习；领域自适应
0 引言
因果关系一直是人类认识世界的基本方式和现代科学的基石。爱因斯坦就曾指出，西方科学的发展是以希腊哲学家发明形式逻辑体系，以及通过系统的实验发现有可能找出因果关系这两个伟大的成就为基础。从与相关关系对比的角度来看， 因果关系严格区分了“原因”变量和“结果” 变量，在揭示事物发生机制和指导干预行为等方 面有相关关系不能替代的重要作用。以图1为例，吸烟、黄牙都与肺癌具有较强的相关关系，然而只有吸烟才是肺癌的原因，也只有戒烟才能降低肺癌的发病概率，而把牙齿洗白则不能降低肺癌的发病概率。探索和推断事物间的因果关系，是数据科学中的一个核心问题，正受到国内外同行的广泛关注。现有因果关系的研究集中在因果推断及因果性学习两个方面。
图 1 吸烟与黄牙、肺癌之间的因果关系发现
因果推断的目标是发现变量/事物背后的因果关系。随机控制实验是发现因果关系的传统方法。由于实验技术局限和实验耗费代价巨大等原因，越来越多的因果推断领域学者希望通过观察数据推断变量之间的因果关系，已成为当前因果推断领域的研究热点。在基于观察数据的因果推断领域研究方面的代表性进展包括在上个世纪90年代，图灵奖得主Pearl Judea教授、卡内基梅隆大学Clark Glymour教授等先驱共同建立了基于观察数据因果推断的理论基础和基于约束的方法，以及近10年Bernhard Schölkopf、Kun Zhang、Shohei Shimizu等学者为代表提出的基于因果函数模型的方法。
因果性学习则体现了因果推断对于机器学习算法设计的指导作用。随着人工智能的发展，越来越多学者开始认识到因果推断对于克服现有人工智能方法/技术在抽象、推理和可解释性等方面的不足具有重要意义。正如图灵奖得奖者Pearl Judea在新作《The Book of Why》一书中提出的 “因果关系之梯”，他把因果推断分成三个层面，第一层是“关联”；第二层是“干预”；第三层是“反事实推理”。他特别指出，我们当前的机 器学习领域的研究只处于第一层，只是“弱人工智能”，要实现“强人工智能”还需要干预和反事实推理。在Kun Zhang等学者发表的《Learning causality and causality-related learning: some recent progress》综述中，对基于因果思想的机器学习方法进行了总结，提出了因果性学习这一概念。
因果推断、因果性学习及一些相关概念的关系如图2所示。因果推断理论和方法为因果性学习提供了重要的理论基础和思想的来源。下面分别对基于观察数据的因果推断方法和因果性学习方法这两个方面的研究进展进行重点探讨。
图 2 本文的研究内容
1 因果推断
近30年来，因果推断的研究一直备受学者们关注。针对观察数据特性的不同，基于观察数据的因果推断方法可以分为基于时序观察数据的因果推断方法和基于非时序观察数据的因果推断方法。虽然时序观察数据中时间维度蕴含了“因-果”方向的重要信息——“果”在时间上不能发生在“因”的前面，但是时序数据需要获取一个对象在不同时刻的观察值，对观察手段具有较高的要求。同时，部分基于非时序观察数据的因果推断方法可以拓展到时序观察数据中，所以本文主要探讨基于非时序观察数据的因果推断方法。
1.1 基于约束的方法
基于约束的方法主要以美国卡内基梅隆大学Glymour教授和Spirtes教授的PC（Peter-Clark）算法，以及加利福尼亚州大学洛杉矶分校Pearl教授和Verma教授的IC（Inductive Causation）算法为代表。这两个算法的基本流程主要有两个阶段，首先利用基于独立性或条件独立性检验的相关方法判断变量之间的独立性，获得变量间的因果无向图；然后再利用V-结构和定向规则对变量间的无向边进行定向。这两个算法主要解决因果关系方向推断难题。后续有不少学者在此算法上 进行了一些拓展和改进。
为了降低高维数据上的误发现率，北京大学耿直教授等提出了一种搜索局部结构的分解方法，通过递归方法将图一分为二，学习局部结构，并逐步自底向上整合成全局结构。Tsamardinos等则结合基于约束的方法和贪婪等价类搜索方法，提 出了最大-最小爬山法（MMHC）。这种方法先通过局部结构学习算法——最大-最小父亲孩子（MMPC）算法学习因果无向图，然后用贪婪贝叶斯评分爬山搜索方法对无向图进行定向。
1.2 基于因果函数模型的方法
与线性模型相比，非线性加噪模型不具有传递性，即每个直接因果关系遵循该模型，但却省略了中间因果变量。因此我们提出了一种级联非线性加性噪声模型（Cascade Nonlinear Additive Noise Models）来表示这种因果关系，并进一步提出了一种在变分自动编码器框架下从数据中估计模型的方法。实验结果表明，所提出的模型和方法极大地扩展了基于因果函数模型的方法在非线性情形中的适用性。
图 3 HCR 模型
1.3 混合型方法
混合型方法是融合了基于约束的方法和因果函数模型的方法而发展出来的另一类方法。这类方法有效地提高因果函数模型的不足，同时克服了高维数据上误发现率控制难题。现有的混合型方法主要依赖分治策略、组装策略与融合策略这三类策略方法。
我们在研究中发现，分治策略在分解问题时引入错误的划分，在后续过程中会不断累积使得总体误差呈现某种不可控的现象。而组装策略可以针对随机小变量集合，通过某种复杂的聚合过程排除由于分割引入的结构错误，获得可靠因果机制。所以我们设计了SMRP（Sophisticated Merging over Random Partitions）算法来合并所有划分的结果，运用基于传播的显著性增强方法和最大无环子图的因果次序方法等对局部结果进行合并。该框架能通过可靠的因果机制，有效地合并随机分块的部分结果。
上述两类策略及方法主要基于分治的思想，还有另一类考虑融合不同方法的策略。考虑到基于评分的方法得到的结果存在马尔可夫等价类问题，而基于因果函数模型的方法有助于消除马尔可夫等价类，故尝试将两者进行融合，提出了SELF（Structural Equational Likelihood Framework）框架。其核心思想是将因果函数的噪声独立性假设嵌入似然度计算中，通过似然度框架实现两类方法的统一。
混合型方法一定程度实现了基于约束的方法的高维扩展性和基于因果函数模型的方法的因果发现能力的结合，为我们在高维数据场景中的应用提供了重要基础。例如在与中国南方电网合作中，通过运用混合型方法建立了电网信息子系统的故障发生模型，并基于故障因果溯源，实现了根因故障的快速定位。在该应用案例中，故障定位中的平均准确率由原来的55.56%提高到 91.67%，大大减少了故障排查范围，提升了系统运行的可靠性。我们还与南方通讯建设、华为等单位合作，在移动通讯网络基站性能优化上进行了应用，通过重构基站性能指标之间的因果网络，成功给出了数据连接性能和通话质量优化等重要典型投诉的优化方案，相关方案在实际应用效果中超过了传统领域专家基于经验给出的优化方案。这些成功应用案例体现了因果推断在决策支持领域的重要价值，是因果推断研究的重要方向。
2 因果性学习
目前以深度学习为代表的机器学习正受到学者们越来越多的关注。然而，机器学习，尤其是深度学习的可解释性、泛化能力和对数据的过度依赖是目前公认的挑战。为此，学界越来越关注在机器学习中因果思想的运用，在半监督学习（SSL）和领域自适应等方面进行了尝试。相关研究表明，因果推断理论给出了隐藏在观察数据背后的有用信息，为半监督学习和领域自适应等机器学习领域的研究提供了新思路和方向。我们对这两方面的因果性学习方法进行了总结，如表2所示。
在半监督学习中，马普所的Schölkopf等指出半监督学习在因果方向上的学习与反因果方向上学习的区别，揭示了在没有混淆因子的情况下，无标签数据只有在反因果方向下才是有效的，而在因果方向上是无效的。他们发现，半监督学习方法的有效性与因果关系中原因变量的概率P（原因），与给定原因变量的情况下结果变量的概率 P（结果|原因）的独立性有紧密联系。
在领域自适应研究中，确定从源域转移到目标领域的信息，以及如何进行转移是一个至关重要的问题。因果模型可以作为一个很好的工具来解决这个问题。Pearl教授通过研究证明因果图可以被用于建立允许跨域的结果传输的条件；Zhang等发现即使在这种条件不成立的情况下，仍然可以利用因果知识，以及一些技术条件来进行领域自适应。其基本思想是，如果 它们之间没有混杂因子，则P（原因）和P（结果|原因）是真实因果过程的反映，并且变化是 独立的，从而允许以简单的形式分别对变化进行 参数化。当源域是多个的情况下，Zhang等将已 知的因果关系知识（数据背后产生的机制）融合到领域自适应中，提出了三种适用于不同场景的方法，即利用重要性权重调整的weigh_sample算法、使用了通用性学习的genar_model，以及借助了源假设的权重结合的combn_classf方法。我们则分别从因果解耦和因果同态假设这两个角度探讨了领域自适应问题。从因果解耦角度，假设不同领域的数据由领域隐变量和语义隐变量组成，其因果图表示见图4。基于这个假设，我们提出了语义解耦表达（DSR）模型，采用变分自动编码机和对梯度反转学习方法实现了领域隐变量（Zd）和语义隐变量（Zy）的重构和解耦。在因果同态假设中，假设不同领域数据服从同态假设，即共享部分相同因果网络结构（见图5）。通过学习不同领域数据间的同态映射和同态算子，我们提出DACH方法成功分 离出了不同领域背后共享的因果机制，实现了可靠的领域自适应。此外，还基于特定的假设，从理论角度给出了领域自适应问题误差界。
图 4 不同领域数据生成过程因果图
图 5 因果同态示意图（在千克和磅两个领域中运动前 体重大于运动后体重这一运算结果保持不变）
3 结束语
本文对因果推断及因果性学习的一些基本方 法和最新进展进行简要介绍。目前因果推断领域 研究已经涌现出大量相关方法，并开始在根因故 障定位等领域显示出良好的应用效果。但是，因 果等价类的方向判别、高维数据上的误发现率控 制和不完全观察数据上的隐变量检测等难题仍有 待进一步解决。因果性学习方面研究则还处于起 步阶段，未来还有很大的发展空间。当然，因果 性学习的发展一定程度也受限于因果推断理论与 方法的突破。例如，现有机器学习任务中很难保 证数据的完全观察特性，限制了因果推断理论与 方法的应用。综上，因果推断和因果性学习是值 得深入研究的任务。
标签：学习,基于,蔡瑞初,因果性,研究进展,推断,方法,因果 来源： https://www.cnblogs.com/Li-JT/p/16410542.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。