Efficient Influence Function

Yuan · 2026-11-11 · 数学随笔

在causal inference里面,经常有文章,尤其是涉及到machine learning的一些文章,使用Efficient Influence Function (EIF)。最近也在研究使用EIF,尝试输出一下我对它的理解。

我们可以对函数f(x)求导。

如果要求score function的话,是对log-likelihood求导,这是就是对\log f(x;\theta)关于\theta求导,之后可能会取极大值,然后得到\theta的极大似然估计。这里,是对极大似然函数关于参数求导。

上面所说的,自变量是x,参数是\theta,那么,如果自变量是一个分布,对他求导,就是路径导数(pathwise-gradient)。不过,普通的导数的定义,是有一个方向可以变化,在这个方向扰动一点点,然后作差、除上距离,取极限。路径导数,是在哪里扰动呢?先考虑一下多元函数,它的导数,可以在各个方向扰动,然后就有了偏导数。当然,经典的微积分,还有一些中值定理,Taylor展开的东西。回到路径导数,它是向哪里扰动呢?在求EIF的经典做法中,貌似也不说向什么方向扰动,就是一个regular parametric submodel,这样子。不过,貌似可以是(1 + \epsilon g)P这样子,g是score,这样子。(不过,貌似有点循环了,现在还没有说到score吧,哈哈)。不过,大概,它得是一个distribution,属于model space(这里的model space,我理解,就是所有可能的,满足限制条件的分布),然后\epsilon = 0的时候,要是真实的distribution,好像就是这样吧。然后,关于一个导数,它的含义,大概是有了吧。当然,这貌似只是intuition。具体的定义是什么呢?考虑f(x) = \theta x,这里的导数是\theta,x是什么呢?其实,x是对似然函数\theta x(似然不太可能是\theta x,如果考虑一个density的话,不过,限制到某个range上,貌似是可以的)关于,\theta求导的结果。那么,就是score,(但是不是log-likelihood,只是likelihood,不能算是严格的score吧)。再次回到路径导数,我们找到一个P_{\epsilon},然后找它的score function,作为score S,最后计算一下\cfrac{P_{\epsilon} - P}{\epsilon} = E[\phi(O)S(O)],就得到,\phi(O)就是,它的gradient。不过,这个直觉,感觉很牵强的样子。感觉,就是这两个score的定义不太一样?之前的f(x)的score,是直接对f(x),这个整体,做一些动作。后面的IF这里的score,感觉就像是对参数P,来做一些动作。会有一些区别。是谁想出来的呢?感觉很天才。我读过一点semiparametric的东西,貌似当时没有get到这个直觉。

不管怎样,现在有了gradient的定义。通过种种大法,可以求解IF。那么,这个IF是否是EIF呢?就是,是否Efficient的呢?如果,这是nonparametric space,那么IF是唯一的,就是EIF。如果是semiparmetric,会有一个tangent space,就是,所有的submodel的score,张成的闭空间。IF在这个闭空间上的投影,这里,就涉及到一些Hilbert space的东西了,又涉及到一些几何直觉了。其实,这里就说明,nonparametric model,它的tangent space,就是整个全空间,不然,为什么投影就等于它自身呢?

其实,在某些情况下,虽然给nonparametric model加了一些限制,在某个point P,target parameter的IF依旧是唯一的EIF,或许,这就是传说中的,locally efficient?一种可能的原因,或许是,在P这个点,它的score和nonparametric的space的score,是没有区别的!那么,就没问题了。怎么去想这个问题呢?或许,可以把带有限制的P,看成是nonparametric space的一个点,然后,正常求它的IF,score之类的。发现,其实,在这个P点,它的score和nonparametric的score,没有任何区别。所以,score space,其实没有任何改变,那么,tangent space,就没变。那么IF在tangent space上的投影,就没变,那么EIF就是这个IF。感觉好像没问题。但又不能确定。所以,现在的问题貌似是,在nonparametric的时候,求IF的时候,取P的时候,就是在model space上随便取的一个P了?然后各种操作。那么,在restricted model space上,取的P,其实也是nonparametric space上的一个P。感觉,好绕呀,核心就是证明,tangent space一样吧,或者score是一样的,在这个点P处。很绕。不过,可行。

下面,其实求IF也不是很简单,各种定理之类的,不过,还好有一些成熟的技巧可以使用。

欢迎交流!

本文为Yuan原创,转载请注明作者和出处。

← 上一篇:象棋感悟

这是生活园的简易版,不用 JavaScript,Kindle 等老浏览器也能看。写文章、评论、看私人园地请用电脑或手机上的完整版。