看到这个标题可能很多人第一反应是这不就是排版问题吗不都是 I、X、Y、Z 这几个符号摆在一起如果你只是这么想那接下来可能会在实验里吃大亏。我最近在做一个特征选择项目需要比较不同特征组合对标签的信息量翻了几篇论文发现 I(X,Y;Z) 和 I(X;Y;Z) 这两种写法都被大量使用但含义和数值差得很远。一个逗号和两个分号的位置决定了你是在计算联合互信息还是在计算三元交互信息。本文就把这两个量彻底拆开讲清楚顺便把实际计算时容易踩的坑也一起说掉。1. 分号和逗号各管什么先把信息论记号规则对齐1.1 从最熟悉的 I(X;Y) 说起Shannon 互信息的标准写法是 I(X;Y)分号两侧是两个随机变量。这个分号不是并列的意思而是我要求的就是这两个对象之间的互信息。互信息的定义式是I(X;Y) H(X) H(Y) - H(X,Y)也可以写成 KL 散度的形式衡量的是 X 和 Y 共享多少信息。很多人在这一步没问题但一旦变量多起来记号就开始乱了有人用逗号有人用分号还有人用竖线。竖线是条件分号是互信息的边界逗号则是边界内部的联合这三者是完全不同的操作。当变量超过两个时问题就来了。如果你看到一个表达式 I(X,Y;Z)按照标准记号约定它的意思是先把 X 和 Y 组成一个联合变量 (X,Y)然后计算这个联合变量与 Z 之间的互信息。换句话说I(X,Y;Z) 本质上是两个对象之间的互信息只不过其中一个对象本身是二维的。而 I(X;Y;Z) 不一样它让三个变量站在同一个层级上表达的是三变量之间的交互信息也叫 interaction information。这里有一个非常容易犯的错有人看到互信息满足对称性就觉得 I(X,Y;Z) 和 I(X;Y,Z) 是同一个东西。这是错的。互信息的对称性说的是 I(A;B)I(B;A)也就是分号两侧的整体可以互换。所以 I(X,Y;Z) I(Z;X,Y)但这个量跟 I(X;Y,Z) 没有必然相等关系。你把逗号从左边的参数里挪到右边联合的对象就从 (X,Y) 变成了 (Y,Z)完全不是一回事。写出来会更清楚。I(X,Y;Z) 的熵表达式是 H(X,Y)H(Z)-H(X,Y,Z)而 I(X;Y,Z) 的表达式是 H(X)H(Y,Z)-H(X,Y,Z)。要让这两个量相等需要 H(X,Y)H(X)H(Y,Z)-H(Z)这在大多数情况下都不成立。所以读论文的时候看到这样的记号先停下来确认一下逗号在哪一侧别拿自己已有的理解往上套。1.2 I(X;Y;Z) 不是三个量两两互信息的和还有一类常见误解是把 I(X;Y;Z) 理解成三个变量之间的总互信息然后试图用 I(X;Y)、I(Y;Z)、I(X;Z) 的某种组合去直接表达它。这也不对。三元交互信息是一个独立定义出来的量它和两两互信息之间有联系但不是简单的求和。我和不少做机器学习的人聊过他们对互信息的概念大多停留在两个变量之间的相关性度量遇到三元情况第一反应是两两算一遍然后求平均。这种思路在做特征选择时尤其危险因为你真正需要判断的是特征组合起来之后对标签到底提供了多少额外信息这恰恰是两两互信息描述不了的。2. 联合互信息 I(X,Y;Z)把两个变量捏成一个整体2.1 定义式和两个等价分解联合互信息最直接的定义就是把它看成联合变量 (X,Y) 与 Z 之间的普通互信息I(X,Y;Z) H(X,Y) H(Z) - H(X,Y,Z)从 KL 散度的角度看它是 p(X,Y,Z) 相对 p(X,Y)p(Z) 的散度所以一定非负。这个性质很重要后面讲三元交互信息的时候会形成鲜明对比。不过真正有用的是链式分解I(X,Y;Z) I(X;Z) I(Y;Z|X)这个公式的意思是先看 X 单独提供了多少关于 Z 的信息然后固定 X再看 Y 额外提供了多少关于 Z 的信息。两者相加就是联合变量整体携带的信息量。同理也可以换成I(X,Y;Z) I(Y;Z) I(X;Z|Y)这两个分解形式在实际项目中很有用因为额外信息这个概念比联合互信息更容易理解也更容易用条件互信息估计器去算。2.2 联合互信息的两个反直觉之处第一个反直觉的地方是联合互信息一定不小于其中任何一个单独的互信息因为 I(Y;Z|X) 非负。所以 I(X,Y;Z) ≥ I(X;Z)也 ≥ I(Y;Z)。这个直觉上是合理的你把越多变量并进去理论上应该能获得越多关于 Z 的信息至少不会更少。第二个反直觉的地方是联合互信息可以大于 I(X;Z)I(Y;Z) 这两者之和。这个很多人想不到。因为按朴素理解两个变量对 Z 的总信息贡献最多就是各自贡献相加怎么还能超过这里的关键是X 和 Y 联合起来可能产生协同效应也就是单独看任何一个变量它们都和 Z 无关但放在一起就能确定 Z。最典型的例子是 XOR 门X 和 Y 是两个独立的公平硬币ZX⊕Y。单独看 X 与 Z 的互信息是 0单独看 Y 与 Z 的互信息也是 0但联合变量 (X,Y) 完全确定了 Z所以 I(X,Y;Z)1 bit。这个例子几乎可以当成理解联合互信息和交互信息关系的入门题。2.3 在特征选择里最常见的应用特征选择领域里有一个方法叫 JMIJoint Mutual Information它做的事情就是对候选特征 X_i 和已选特征集合 S 中的每个特征 X_j计算组合 (X_i, X_j) 与标签 C 的联合互信息 I(X_i, X_j; C)然后求和作为候选特征的得分。这个公式在论文里经常被写成各种相似但不同的形式比如 I(X_j; X_i; C)如果抄错一个标点算出来的东西就变成了三元交互信息整个特征排序结果都会变。我自己就遇到过这种情况照着论文实现一个特征选择算法结果跑出来的特征排名和论文结果对不上排查了很久最后发现是公式里把逗号写成了分号。不是算法的问题纯粹是记号理解错了。所以这一章的内容不是学术洁癖而是能直接影响实验结果的细节。3. 三元交互信息第三块信息为什么可正可负3.1 三种等价定义三元交互信息 I(X;Y;Z) 在文献里有几种等价写法我先把最常用的熵表达式列出来I(X;Y;Z) H(X)H(Y)H(Z) - H(X,Y)-H(X,Z)-H(Y,Z)H(X,Y,Z)这个式子看着吓人但它的逻辑很清晰把三个单变量熵加起来减掉三对两两联合熵再加回三变量联合熵。它反映的是三圆维恩图中最中间那一块的净信息量。它还有另外两种更直观的表达I(X;Y;Z) I(X;Z) I(Y;Z) - I(X,Y;Z)以及I(X;Y;Z) I(X;Y) - I(X;Y|Z)第二个表达很有启发性它说的是X 与 Y 的互信息在知道了 Z 之后是增加了还是减少了。如果知道 Z 让 X 和 Y 之间的关联变弱说明 Z 在解释 X 和 Y 的关系时带有冗余成分如果知道 Z 反而让 X 和 Y 的关联变强那 Z 就提供了某种协同背景。这个视角比单纯背公式有用得多。注意不同文献对交互信息的符号约定不统一。我这里采用的是三圆维恩图中心区域的定义正的交互信息代表冗余主导负的代表协同主导。也有一部分文献把交互信息定义为 I(X,Y;Z)-I(X;Z)-I(Y;Z)那正好差一个负号。读论文时务必先看作者对 I(X;Y;Z) 的明确定义。3.2 正负号的含义冗余与协同三元交互信息最重要的特征就是它可以为负。这一点和互信息、联合互信息有本质区别后两者因为 KL 散度的性质一定是非负的而 I(X;Y;Z) 没有这个限制。用两个目击证人来类比假设 Z 是一起事件的真相X 和 Y 是两位证人的证词。如果 X 和 Y 看到的是同一个事实那么他们的证词高度重叠关于 Z 的信息大部分是冗余的此时 I(X;Y;Z) 是正的。反过来如果单独问 X他只能说出事件的一半单独问 Y她只能说出另一半但把两人叫到一起对质整个事件就拼出来了这种合起来才管用的情况就是协同此时 I(X;Y;Z) 是负的。这个正负号不是数学游戏它在实际系统里能告诉你很重要的东西多个信息源对目标的贡献到底是重叠的还是互补的。比如在多传感器融合里如果两个传感器完全相同它们带来的冗余很大交互信息为正如果两个传感器从不同角度观测同一个目标联合起来能显著降低不确定性交互信息就会偏负。3.3 维恩图三圆交集区域但面积可能是负数教科书里解释互信息时喜欢画维恩图两个圆的重叠区域代表 I(X;Y)非常直观。到了三变量时很多人会自然地把 I(X;Y;Z) 对应成三个圆的公共交集。这个直觉在符号层面上是成立的问题在于这个交集面积在 Shannon 信息测度下不一定是非负的。这就是为什么需要特别提醒信息测度不是普通的集合测度它的某些区域可以为负。Yeung 关于信息测度information measures的研究早就指出虽然熵和互信息都非负但维恩图中不是所有基本区域的测度都非负。三元交互信息为负时你画出来的三圆公共交集就像一块面积为负的区域这在实际系统中对应的是协同效应。所以看到维恩图时不要以为交集越大信息越多。三变量的情况下公共交集可能根本不存在正的信息量或者它的净信息量被协同效应抵消成了负数。真正要判断信息结构还是要回到公式计算。3.4 现代视角部分信息分解PID如果觉得可正可负这个概念不好落地可以了解一下 Williams 和 Beer 在 2010 年提出的部分信息分解框架Partial Information DecompositionPID。这个框架把联合互信息 I(X,Y;Z) 分解成四个非负分量冗余信息RedundancyX 和 Y 都携带的关于 Z 的信息独特信息Unique X只有 X 携带、Y 没有的关于 Z 的信息独特信息Unique Y只有 Y 携带、X 没有的关于 Z 的信息协同信息SynergyX 和 Y 合作才能产生的关于 Z 的信息于是有I(X,Y;Z) Redundancy Unique_X Unique_Y Synergy而三元交互信息可以表示为I(X;Y;Z) Redundancy - Synergy这个关系瞬间解释了前面所有现象当冗余大于协同时交互信息为正当协同大于冗余时交互信息为负当两者相等时交互信息就是 0。XOR 门里 X 和 Y 没有冗余信息只有 1 bit 的协同所以交互信息是 -1。完全复制的情况相反X 和 Y 关于 Z 的信息完全冗余协同为 0所以交互信息是 1。需要注意PID 的分解本身不是唯一的不同的公理体系会得到不同的 Redundancy 和 Synergy 数值但冗余减协同等于交互信息这个关系是稳固的。理解了这个框架你再看三元交互信息就不会觉得它只是一个可以取负数的奇怪公式而是有明确系统含义的量。4. 三个具体联合分布把两个量算给他们看4.1 XOR 门单独为零联合为一交互信息为负我通常用一个最简单的联合分布来演示这两个量的差异。设 X 和 Y 是两个独立的公平硬币取值 0 或 1概率各 1/2。令 ZX⊕Y也就是异或。联合分布只有四个等概率点(0,0,0)、(0,1,1)、(1,0,1)、(1,1,0)。先算单变量熵H(X)1, H(Y)1, H(Z)1。联合熵里面H(X,Y)2因为 X 和 Y 独立。H(X,Y,Z)2因为联合分布只有四个等概率点虽然写成三元组但其实有效状态只有四个。于是I(X,Y;Z)H(X,Y)H(Z)-H(X,Y,Z)21-21而两个两两互信息呢X 和 Z 是独立的I(X;Z)H(X)H(Z)-H(X,Z)11-20。同理 I(Y;Z)0。所以三元交互信息为I(X;Y;Z)I(X;Z)I(Y;Z)-I(X,Y;Z)00-1-1这就是协同效应的典型表现两个变量单独看都对 Z 没有任何信息但联合起来完全确定了 Z交互信息为负。4.2 完全复制XYZ交互信息为正再构造一个完全冗余的例子。设 X 是一个公平硬币然后 YXZX。也就是说三个变量取值永远相同只有 (0,0,0) 和 (1,1,1) 两个等概率状态。这时 H(X)H(Y)H(Z)1但 H(X,Y)H(X,Z)H(Y,Z)1因为 XYZ两两之间完全确定。三变量联合熵 H(X,Y,Z)1。I(X,Y;Z)H(X,Y)H(Z)-H(X,Y,Z)11-11两两互信息方面I(X;Z)1I(Y;Z)1。于是I(X;Y;Z)11-11这个正的交互信息代表的是冗余X 和 Y 都在重复提供关于 Z 的同一份信息。如果拿这个场景去做传感器部署你会很清楚加第二个传感器并没有带来新的信息全部都是冗余。4.3 AND 门中间状态交互信息接近零偏负为了展示不是只有极端情况我再看一个更接近真实系统的例子。X 和 Y 还是独立公平硬币令 ZX AND Y。联合分布是四个等概率点(0,0,0)、(0,1,0)、(1,0,0)、(1,1,1)。Z1 的概率是 1/4所以 H(Z)0.811。H(X,Y)2H(X,Y,Z)2还是四个有效状态。I(X,Y;Z)20.811-20.811两两互信息方面H(X,Z)H(Y,Z)1.5所以 I(X;Z)10.811-1.50.311同理 I(Y;Z)0.311。于是I(X;Y;Z)0.3110.311-0.811-0.189这个例子很有意思X 和 Y 各自都和 Z 有一定互信息但合在一起之后比两两互信息之和还要多一点点所以净效应是协同。从条件互信息的角度更好理解I(X;Z|Y)0.5而 I(X;Z)0.311也就是说知道了 Y 之后X 和 Z 的关系反而变强了。这是因为当 Y1 时 Z 完全等于 X而 Y0 时 Z 恒为 0。所以 Y 提供了一种解读背景让 X 的信息价值提升。4.4 数值对照表把三个例子放在一起看结论非常清楚场景I(X;Z)I(Y;Z)I(X,Y;Z)I(X;Y;Z)信息结构XOR 门001-1协同主导完全复制 XYZ1111冗余主导AND 门0.3110.3110.811-0.189协同略高于冗余完全独立0000无关联注意看最后一列I(X;Y;Z) 在第二行和第三行一个是正、一个是负而 I(X,Y;Z) 始终都非负。如果你在代码里把这两个变量名搞混直接用 I(X,Y;Z) 的去替代 I(X;Y;Z)你会在 XOR 场景得到 1 而不是 -1在复制场景得到 1 而不是 1看起来碰巧一致但到 AND 这类中间场景就会完全跑偏。更麻烦的是这种跑偏并不总像 XOR 那么极端很多时候只是数值上的小幅偏差很难察觉。5. 实操与踩坑库函数、公式与特征选择5.1 为什么这两个量在真实项目里会被写混我自己的经验是符号混乱在信息论相关代码里是重灾区原因有三一是论文里记号不统一有的作者把 I(X,Y;Z) 和 I(X;Y;Z) 混着用读的时候不仔细很容易被带偏二是很多现成库只提供两两互信息的接口想算更高阶的量必须自己拼拼的过程中就可能在某个中间变量上出错三是公式变形太多从熵的定义出发推导时稍不注意符号就会差一个负号。我建议在读任何用到三元交互信息的论文时先花一分钟把作者的符号说明看一遍重点确认他们对 I(X;Y;Z) 的定义是冗余减协同还是协同减冗余。这不是吹毛求疵不同文献里这个符号确实差一个负号。如果你按照一篇论文的公式实现却拿另一篇论文的符号约定来验证结果对不上是必然的。5.2 用 Python 从联合分布计算两个量当你处理的是离散分布并且能拿到完整的联合概率表时计算两个量的代码很简单。下面这段代码我经常用来做小规模验证输入一个字典 pxyzkey 是 (x,y,z) 元组value 是联合概率输出所有需要的量。from collections import defaultdict from math import log2 def entropy(probs): 输入概率列表返回熵单位 bit return -sum(p * log2(p) for p in probs if p 0) def marginal_entropy(pxyz, keep): 对联合分布做边缘化。 keep 是元组包含要保留的分量索引0X, 1Y, 2Z。 例如 keep(0,2) 返回 H(X,Z)。 dist defaultdict(float) for (x, y, z), p in pxyz.items(): state tuple(v for i, v in enumerate((x, y, z)) if i in keep) dist[state] p return entropy(dist.values()) def compute_info(pxyz): HX marginal_entropy(pxyz, (0,)) HY marginal_entropy(pxyz, (1,)) HZ marginal_entropy(pxyz, (2,)) HXY marginal_entropy(pxyz, (0, 1)) HXZ marginal_entropy(pxyz, (0, 2)) HYZ marginal_entropy(pxyz, (1, 2)) HXYZ marginal_entropy(pxyz, (0, 1, 2)) I_X_Z HX HZ - HXZ I_Y_Z HY HZ - HYZ I_XY_Z HXY HZ - HXYZ I_X_Y_Z HX HY HZ - HXY - HXZ - HYZ HXYZ return { I(X;Z): I_X_Z, I(Y;Z): I_Y_Z, I(X,Y;Z): I_XY_Z, I(X;Y;Z): I_X_Y_Z, }用 XOR 例子验证一下。构造四个等概率状态pxyz { (0, 0, 0): 0.25, (0, 1, 1): 0.25, (1, 0, 1): 0.25, (1, 1, 0): 0.25, } print(compute_info(pxyz)) # 输出里 I(X;Z) 约 0, I(Y;Z) 约 0, # I(X,Y;Z) 1, I(X;Y;Z) -1这段代码最核心的地方就是那个熵组合公式。每次我担心自己符号写反的时候就用 XOR 和复制两种分布去验证一遍确保正负号符合预期这比临时翻教材快得多。5.3 从真实样本估计时的偏差陷阱上面代码假设你有精确的联合概率 p(x,y,z)但实际项目中通常只有一批样本。这时候常见做法是如果变量是离散的直接统计频数得到概率表然后套用上面的公式如果变量是连续的先把它们离散化或者用非参数估计器。这里有一个非常隐蔽的坑高维直方图估计在小样本下偏差非常大。你算 H(X,Y,Z) 时维度一高很多格子里几乎没有样本熵的估计值会系统性偏低最后算出来的交互信息可能完全失真。更麻烦的是互信息估计器为了保证非负往往对零计数做了额外处理这会让两两互信息的值和三元联合互信息的值之间的偏差不可抵消最终 I(X;Y;Z) 得到的是一个被估计偏差污染的数字。如果你真的需要从样本里估计交互信息别直接用暴力计数建议至少做到两步第一确保样本量足够经验法则是联合状态数量至少要有样本量的五倍以上否则结果只能当作玩具演示第二尽量使用专门的多变量信息估计方法比如基于 k 近邻的 KSG 估计器然后把两两互信息和联合互信息代入关系式计算。即便如此交互信息的估计方差也往往比互信息大很多务必多跑几次 bootstrap 看稳定性。用 scikit-learn 的时候mutual_info_score可以直接传两组标签但想算联合互信息需要把两个变量打包成一个联合标签再传。很多人会忽略这一点直接把 x 和 y 两个数组分别传进去或者传一个二维数组进去得到的结果根本不是 I(X,Y;Z)。我建议写代码时显式地把两个变量 zip 成元组列表再传进去语义清晰也不容易错。5.4 一个来自编程的旁证记号歧义无处不在说到记号歧义计算机领域其实有一个很典型的例子Python 里的链式比较 x y z。它在数学里就是一个自然而然的不等式表达式但在 Python 里解释器会把相邻的比较拆成 x y and y z并且 y 只求值一次。如果你在 y 里放一个有副作用的函数这个语法糖的真实行为就和数学不等式有了微妙差别。这和 I(X,Y;Z) 与 I(X;Y;Z) 的处境很像看着只是标点位置不同但背后的求值逻辑和语义约定完全不一样不能凭直觉混用。我个人现在写代码有个习惯凡是涉及这类高阶信息量的地方变量名一定起得很啰嗦mi_joint_xy_z、it_xyz绝不写mi3这种含义不明的名字并且一定在注释里写出对应的数学公式。不是为了好看是真的被这种符号问题坑过几次之后发现多花十秒钟写清楚比事后排查半天高效得多。希望这篇梳理也能帮你少踩一次这个坑。
