AIGC与因果推断双向赋能

在开局注释之前，首先来引见一下九章云极DataCanvas。

九章云极DataCanvas关键努力于人工智能基础软件的研发，为企业的AI树立提供平台产品和配套的处置打算，协助企业成功数智化转型。目前在政府、金融、通讯、制作、动力、交通、航空等多个畛域都有着十分多的成功案例。

一、AIGC用于结构化数据分解

依赖于大模型的参数量的增长，自去年11 月份ChatGPT颁布以来，大言语模型涌现出了十分低劣的才干，包括对文本语义的了解、语义的搜查和言语组织的才干。并且放开给终端用户，为群众提供了更多AI开展的构想空间。

ChatGPT 在AIGC外面更多是以文本的内容生成为主，这两年咱们试验室关键是在因果推断方面投入了少量的精神启动钻研和落地。

因果推断关键指如何去迷信地识别变量之间的因果相关，以及量化变量之间的因果影响。目前干流的钻研方向一是潜在结果框架，二是结构因果模型。

AIGC目前关键是面向于非结构化内容生成，包括文本、图片、音频、视频等。如何将因果学习和AIGC衔接起来是一个值得思索的疑问。咱们发现可以借助数据分解这一桥梁，让 AIGC 的才干拓展到结构化数据分解，从而成功因果推断和AIGC两个方向钻研的相互助力。

Gartner 提出了分解数据的趋向报告，估量到2030 年，在 AI、机器学习畛域，分解数据将会齐全逾越实在数据。图表中可以看到，未来分解数据将会呈指数级增长，成为一个大的开展方向。

关于企业来说，数据是智能化树立的生命线，企业失掉高品质的数据往往存在比拟大的应战。比如局部业务场景受限于老本的解放，很少数据无法搜集；在金融、医疗畛域，出于隐衷包全的要求，很少数据也是受限经常使用的；在计算机视觉中，正样本比拟少，往往须要经过数据增强补充样本；新兴AI 用例发生时没有历史数据积攒，这时如何启动场景的验证也是一大应战。针对这些应战，分解数据在企业的AI 才干树立当中，会施展十分大的补充作用和长处。

分解数据关键有两类方法，一类是以数据驱动为主，包括反抗生成网络、VAE方法、贝叶斯网络、ML-base等；另外一类是以环节驱动，包括Agent-based modeling、团圆事情模拟、数值模拟和蒙特卡罗方法等。其中Agent-based modeling十分适宜作为桥梁，协助咱们成功AIGC向结构化数据的转化。

ABM是一种用来模拟具备自主看法的智能体的执行和相互作用的计算模型，评价智能体在系统当中的作用。它的义务关键有两种，一种是剖析微观出现的现象的要素；一种是推演，基于微观干预的手腕预期体现的基础上，推演未来微观方面的体现。ABM有不少别名，比如 IBM、MAS都属于ABM 的范式，只是在不同期间点和畛域的不同称号。

ABM建榜样式首先是对系统组件、操作、交互和环境的形象，构成仿真系统，其中agent 智能体是外围组成单元。比如在金融行业agent仿真系统，对公对私客户都可以作为agent 的单元。第二个形象是大环境，可以构想在金融环境的全体下，总的市场规模客户、人均支出水平，都可以视为环境外部实践要素。另外一个关键点是在集体之间有相应的衔接和交互，譬如有集体和集体之间的交互，也有集体和环境之间的交互，也是 ABM 钻研的关键步骤之一。

ABM很多低劣特性，这里只列出了最关键的三点。

首先是弱小的仿真性，不论是社会、生态还是组织都是十分复杂的，ABM可以承载复杂的表白，曾有学者提出ABM可以仿真一座完整市区，它为整个数据基础和钻研提供了十分好的牢靠性空间。

第二ABM具备涌现属性，其关键目的是解释涌现现象的要素，比如抢购效应会加剧客户购置志愿，这就属于ABM的钻研范式和目的场景。

第三个关键的特性就是解释性。在机器学习、因果学习中，很多专家都十分关注解释性，ABM 钻研范式是从业务阅历假定基础登程，所以解释性十分强。

综过去看，ABM适宜作为AI 载体，成功 AIGC 对结构化数据生成的拓展。接上去将引见咱们曾经做的一些尝试和探求。

二、结构化数据分解助力因果推断

回忆因果推断的经常出现义务，关键包括因果发现、因果量的识别、因果效应估量、反理想推断以及战略学习等方面。在企业微观经济剖析当中，有很多实践案例，比如电商畛域异质化产品介绍，就是因果效应估量的一种经常出现场景。工业界落地比拟有代表性的算法包括 Meta Learner 、DML ，以及 Causal Forest 等算法。另外一个比拟大的钻研方向是因果发现，关键思维是寻觅出现结果的要素，目前该方向更倾向于因果定性的钻研范式。分解数据可以运行在上方提到的一切义务当中，并且有更宽泛的运行方向，前面将着重引见几个在因果发现和因果效应估量方面增强验证上的示例。

在因果推断义务里比拟大的一项应战是反理想疑问。干预战略实施后，咱们仅能观测到实施形态下的结果，未干预形态下的潜在结果是无法观测的，无法观测到的潜在结果，通常称为反理想结果。比如商店给客户发活动券的场景，假设给一位用户发了活动券，咱们只能知道他收到活动券之后的反响，没有方法再去知道他没有收到活动券的反响，这就是反理想无法观测疑问，该疑问为因果效应的度量带来了必定的影响。应答该疑问，目前关键手腕是随机试验AB-test；另外，在观测样本上，受限于没法看到反理想的实在值，因此关于因果效应的估量目的，潜在结果和如今实在结果之间的差值是没有方法取得的，造成咱们通罕用的MSE 目的没有方法运行在这种义务上，因此会驳回AUUC目的去代替因果效应度量，但会有必定的局限性。

这里可以思索两个疑问，第一个疑问，能否可以失掉反理想样本，第二个疑问，假设可以失掉反理想样本，咱们可以做些什么。ABM 多智能体系统建模中，它的运转形式就是在不同参数组合下去启动仿真运转，运转环节当中就可以输入数据。比如外呼团队 ABM 系统，它可以输入相似于外呼记载、成交记载、TSR 属性、客户属性等等各种业务上的记载表，这些数据可以存储上去构成数据集，甚至可以依照数仓形式去构建完整的数据体系。另外，ABM在不同参数组合下运转时，自身是一种反理想运转形式，因此可以将反理想运转形式结果保留上去。

从图中可以看到，经过系统以及产出数据，首先，可以失掉反理想数据；其次，可以从系统外面拿到完整的预置因果相关；再次，可以失掉所有因子特色；最后，还可以取得时序类反理想数据，比如模拟业务运转一两年后的因果效应影响。

综上所述，ABM具备很多优质特性，最关键的三点就是反理想可失掉、仿真性和特色完整性。同时它的可控制性也比拟强，可以有一些微观干预和微观干预，比如为一切用户提供折扣，或许为某些客户提供折扣。也可以支持在这个环境下去模拟A/B test的运转。因此，ABM可以提供十分优质的数据基础，为因果推断钻研起到助力作用。

上图是咱们目前在做的相关钻研。这是一个 ABM 范式的金融系统，左图是系统全体的形象，右图是运转形态。左边系统内将银行、储户、企业形象成为智能体代理。环境关键包括银行数量、人口数量、企业数量以及监管管控战略。微观监管参数包括最低预备金率、无危险收益率、杠杆率来限制银行运营目的。交互行为关键是储户和银行之间的存款与取款行为，以及企业和银行之间的存款行为。

右图是系统的运转态，首先它可以在不同微观参数状况下去运转和仿真模拟，ABM的一种钻研范式是做涌现剖析，比如最下边是咱们验证的一组参数，在资本短缺率要求比拟低的状况下，很容易会涌现系统性金融危险，比如银行挤兑。当然，这属于负向的涌现剖析，实践业务中更经常出现的是正向的涌现剖析。

另外一种钻研形式是校准，如何去经过找出相应因子或因子范围，能恢复更实在的业务场景。并在这种参数状况下去启动干预和推演，构成自身的钻研范式。可以看到，一切数据都可以存上去，可成功上方提到的反理想数据失掉、特色完整性等特性。

上方来引见一些数据分解与因果学习联合的运行场景。

第一个场景是因果发现方向。上图中左边局部是从系统外面失掉预置因果相关，左边是联合了三种因果发现算法。咱们能够直观觉失掉这两者有必定差异。因此因果发现算法，还有必定优化空间。从数据中，咱们观测到几点，首先，在业务上有些事情不会出现，它会不时处于一个形态即常量值，关于常量值目前没方法去学习其间的因果相关；其次，算法识别的因果相关，会出现一些因果相关的缺失或因果反向或失误因果相关等状况，假设驳回繁多算法去做因果发现的话，有必定局限性，因此倡导驳回多种因果发现算法相融合，才干最大限制地学到实在的因果相关。

运行多智能体建模数据分解的长处在于，首先老本可控，可以失掉预置因果相关，同时也可以失掉完整特色，不存在无法观测的特色。在运行畛域上可以验证各种算法精度，可以论证算法融合的最佳形式，并在未来运行在实在场景上。综上，分解数据可认为因果发现提供十分好的钻研数据基础。

第二个方向是因果效应估量方向钻研。在没有反理想状况下，咱们往往用一些代替方法去评价因果效应精度，比如A/B test。但实践业务，并不准许一切场景企业都会去做 A/B test，一方面要素是A/B test有必定的理想老本疑问，某些场景甚至是伦理疑问；另一方面，A/B test仅能评价集体效应，无法评价集体效应，具备较强的局限性。

经过ABM可以失掉反理想样本，基于反理想样本的评价目的具备以下长处：

可以驳回 MSE等经常出现目的来论证算法有效性。

可以打破性地去验证集体治疗效果。

可以论证 A/B test、AUUC、Qini等方法的有效性。

同时，在环境中也具备比拟高的可控性，甚至可以去仿真模拟一些有偏无偏的数据场景。

咱们在带有反理想的地下数据集上去做了一些验证，关键是评价AUUC 、Qini以及 RLoss三个目的的有效性。发如今延续型 outcome 场景下， RLoss目的有更高的稳固性。多智能体系统发生的反理想数据可以指点因果推断的钻研，也可以助力场景落地。

在算法运行和研发当中，失掉到这些智能体分解数据后，该如何去运行呢？以因果效应估量场景为例。图中第一行，是经常出现形式（没有思索拆验证集），在训练阶段用 train>

应用因果推断去协助 Agent-based modeling多智能体建模有着比拟宽泛的运行畛域，这里列出了其中几个经常出现的场景。比如外部数据经常使用有限制，历史数据不足等状况，可以启动数据补充和增强；可以启动微观涌现的要素剖析，以银行或许保险外呼团队场景为例，宿愿剖析譬如团队规模、小组人数、员工散失状况，关于整个业务部门目的的影响，进而构成对应单薄环节的改良倡导。这些都是 ABM 钻研范式在业务场景落地的形式。

在义务目的上，剖析义务和推演义务是ABM两大关键方向。从档次过去说，它既能涵盖微观，也能涵盖微观。比如，外呼团队场景，微观层面蕴含了客户、外呼员，以及他们之间的交互行为（之间的通话）。微观层面拆分，有多个 agent 组成小组存在，微观层面也有相应的参数和目的，更器重解释涌现出现的要素。ABM既支持微观剖析，也支持微观剖析。从微观视角来看，启动一些干预，比如依照小组形式去全体采取不同名单分派战略，看一下外呼团队全体业绩效益；从微观视角来看，比如做一些差异化处罚政策，推演团队全体业绩效益。

运行因果发现方法，助力ABM涌现剖析义务。上图展现了ABM 建模流程，蕴含模型定义、仿真运转、校准和数据生成，以及相应参数剖析和涌现剖析。首先可以将因果图方法运行到参数剖析上，并且可以融合敏理性剖析、机器学习方法等，对参数和关注目的要素启动量化，以及相应解释。辅佐用户启动更好的做校准，以及涌现剖析相应解释。

运行因果效应估量，助力并减速ABM义务校准环节。校准环节在 ABM 整个运转参数空间也是十分宏大的。譬如100 个不同参数，它们当中有少量延续性参数，空间是十分恐惧的，而且每一次性运转环节都十分耗时，寻求最优组合空间也是一个相当耗时的环节。假设运行因果效应估量，首先可以在曾经运转过的参数空间空间之上，去训练因果效应估量模型，基于此基础之上，启动相似于退化方法，在外面去相应地调整一些变量，让目的目的更凑近于校准参数目的。另外可以经过反理想方法，抽样一批新参数进去，基于模型基础上，对新抽样参数组合空间外面去做反理想推断，判别哪些参数组合更有效，之后再去做运转和校准环节。

目前咱们团队更关注的是AIGC对结构化数据的生成和对因果推断的助力，当然因果推断其实也可以反过去助力 AIGC对结构化数据的生成。

四、YLearn引见

最后分享一下YLearn因果学习软件。

YLearn倒过去是learn why，这正是它的初衷和含意。框架外围目的是提供便捷易用的一站式因果推断框架。YLearn的模块笼罩了基本所有因果推断干流义务类型，包括因果发现、因果图、因果效应估量、战略学习、Interpreter以及反理想预测。其中因果效应估量蕴含了如今经常出现的干流算法，比如Meta Learner、Causal Tree， Causal Forest等等。同时也做了全体封装的一致接口，可以一站式地成功大局部因果建模义务。

这是一个因果效应估量的例子。关于给定的数据集，定义treatment 是哪个变量， outcome 是哪个变量，调用对应的 feed 方法，启动模型训练，就可以做因果效应评价。

第二个是因果图方向，比如左边代码，用户只有要加载数据集，经过 Causal Discovery 接口就可以启动因果发现。框架支持线性、非线性的多种因果发现算法。左边局部，提供了因果图的配置，包括因果图的定义、可视化，以及因果量识别方法。

下打算例关键是经事先门调整去识别 treatment x，以及outcome y的因果效应，结果可以输入后门变量。

最后引见一下一致接口why。这个接口是对 YLearn 外部组件的一致封装，笼罩了因果推断相关的一切义务，仅须要经过一个why的实例，就可以去成功因果发现、因果效应估量、whatif反理想推断，interpreter因果解释等因果推断义务。

YLearn的外围目的就是协助建模人员在一个工具内成功因果推断的所有义务，防止经常使用多个框架的切换。