从 Arrow 到 Constitutional AI

从 Arrow 到 Constitutional AI

社会选择理论视角下的对齐问题：悖论、解释与算法

预备：Arrow 定理的两条证明路线（枢轴选民 / 决定性同盟）、基本的概率与线性代数、对 RLHF 流程的粗略认识。不需要 RL 的技术细节。

这份讲义要回答的问题：

  1. 「不可能存在完美对齐人类价值的 AI」——这句话有几个不同的严格版本？分别在说什么？
  2. Arrow 的独裁者结论，和 Constitutional AI 是什么关系？
  3. 从「不可能」怎么走到「那实际发生的是什么」，再走到「那该怎么设计算法」？

第一部分：把对齐翻译成社会选择问题

1.1 对象字典

一切从一个翻译表开始。左边是机器学习，右边是社会选择。

对齐社会选择记号
模型可能的输出 / 回复 / 轨迹候选项、备选方案$x \in X$
人类标注者 / 用户 / 利益相关方选民$i \in N$，$|N| = n$
某个人对输出好坏的看法个体偏好序$\succeq_i$
全体标注数据偏好档案$\rho = (\succeq_1, \dots, \succeq_n)$
奖励模型 / 训练出的策略社会偏好 / 社会选择$f(\rho)$
宪法、原则清单？（本讲义第四部分回答）—

这个翻译表里唯一真正有内容的一行是加粗那行。整个领域的全部论证都建立在一个主张上：

中心命题：训练一个奖励模型 $r_\theta$，在数学上就是在计算一个偏好聚合函数 $f$ 的值。

一旦接受这条，Arrow、Sen、Gibbard–Satterthwaite 全部自动适用；剩下的工作就是查各条公理在这个语境下对应什么。

1.2 先建立一个关键区分：序 vs 数

这是全篇最重要的分水岭，请务必记牢。

序数框架（ordinal）：我们只知道「$x \succ_i y$」。个体偏好是 $X$ 上的弱序。聚合函数 $f: \mathcal{R}^n \to \mathcal{R}$。这是 Arrow 的地盘。

基数框架（cardinal）：我们知道每个人有实值效用 $u_i: X \to \mathbb{R}$。聚合函数 $F: (\mathbb{R}^X)^n \to \mathbb{R}^X$。这是 Harsanyi 的地盘，Arrow 定理在这里不成立。

真实的 RLHF 处于一个尴尬的中间位置：

  • 输入是序数的：标注者只按了「A 更好」这个按钮，没给分数。
  • 输出是基数的：奖励模型 $r_\theta(x) \in \mathbb{R}$ 是实数。

所以 RLHF 是一台把序数输入转成基数输出的机器。Bradley–Terry 模型就是那台转换器：

\[P(x \succ y) = \sigma\big(r_\theta(x) - r_\theta(y)\big), \quad \sigma(t) = \frac{1}{1+e^{-t}}\]

练习 1.1（做完再往下读，这题决定你能否看懂后面一切）： 考虑一个只有序数信息的聚合规则 $f$。现在我给每个人配一个效用函数 $u_i$，令社会效用 $U = \sum_i u_i$，社会序由 $U$ 诱导。验证：这个 $f$ 满足 Pareto、传递性、无独裁者、匿名性。那么它违反了 Arrow 的哪条公理？为什么这不构成对 Arrow 定理的反驳？

（答案在 §3.1。如果你答对了，你已经理解了整个领域一半的内容。）

第二部分：三种不可能性

「不可能有完美对齐的 AI」这句话，在文献里至少有三个互不等价的严格版本。混淆它们是这个领域最常见的错误。

2.1 版本 A：Arrow 型——不存在合理的聚合规则

定理（Arrow, 1951）：设 $X\geq 3$。若 $f: \mathcal{R}^n \to \mathcal{R}$ 满足全域性（Unrestricted Domain）、Pareto、IIA，则 $f$ 是独裁的。

四条公理在对齐语境下的翻译：

全域性（UD）：任何一组标注者偏好组合都是可能的输入。 → 对齐语境：标注者可以对模型输出持任意看法。这条在实践中最可疑，见 §3.2。

Pareto：若所有标注者都认为回复 A 优于回复 B，则奖励模型必须给 A 更高分。 → 这条几乎不可能放弃。放弃它意味着模型可以在全体一致反对的情况下坚持某个行为。

IIA：奖励模型对 (A, B) 的相对排序，只依赖于标注者在 (A, B) 上的判断，与第三个回复 C 无关。 → 这条在真实 RLHF 里必然被违反，见 §3.3。这是最重要的技术观察。

无独裁者（ND）：不存在某个标注者 $i$，使得只要 $i$ 严格偏好 A 胜 B，模型就一定给 A 更高分。

注意 ND 是一条极弱的民主要求。两个人垄断全部权力仍然满足「无独裁者」。真正的民主要求是匿名性（anonymity）：交换任意两个标注者的偏好，输出不变。匿名性远强于 ND。所以 Arrow 定理对于「RLHF 能否民主」这个问题给出的其实是一个弱得多的否定结论——它只排除了最极端的情况。

这个版本说的是：不存在一个所有厂商都应该采用的、有原则性辩护的聚合规则。它没有说任何具体的 RLHF 系统一定是独裁的（因为真实系统违反 IIA，不在定理的适用域内）。

2.2 版本 B：Sen 型——私域与效率的冲突

Sen 换了对象：不研究社会序 $f$，研究选择对应 $C(\rho) \subseteq X$（哪些输出是”可接受的”）。

私人域 $D_i \subseteq X \times X$：在这些配对上 $i$ 说了算。

尊重个人权利：若 $(x,y) \in D_i$ 且 $x \succ_i y$，则 $y \notin C(\rho)$。

最小自由主义（ML）：至少存在两个人有非空私人域且都被尊重。

定理（Sen, 1970）：不存在同时满足全域性、ML、Pareto 的 $C$。

证明骨架（三行，请自己补全）：$i$ 的权利排除一个候选项，$j$ 的权利排除第二个，Pareto 排除第三个，三条排除首尾相接成环，于是 $C(\rho) = \varnothing$。

关键机制：多管闲事的偏好（meddlesome preferences）。 悖论的引擎不是”意见分歧”，而是”我对你的私域有强烈意见，且强到与你自己的意见反向，同时我们俩在第三对上意外一致”。没有这个结构就造不出悖论——Mishra (2023) 论文里那个政党例子失败的原因正是缺了这个引擎。

一个成立的对齐版本（请自己验算）：

三个部署方案：

  • $x$：只对保守型用户开放某类敏感内容
  • $y$：只对开放型用户开放
  • $z$：对谁都不开放

标注者 A（保守，且认为 B 那类人更该被”保护”）：$z \succ x \succ y$ 标注者 B（开放，且认为 A 那类人更需要被”解放”）：$x \succ y \succ z$

  • A 的私人域 ${x,z}$：$z \succ_A x$ ⟹ 排除 $x$
  • B 的私人域 ${y,z}$：$y \succ_B z$ ⟹ 排除 $z$
  • Pareto 在 ${x,y}$：两人都 $x \succ y$ ⟹ 排除 $y$

$C(\rho) = \varnothing$。注意 A 必须把 $y$ 排在最后（管 B 的事）、B 必须把 $x$ 排在最前（管 A 的事）——多管闲事是必需品，不是巧合。

这个版本说的是：不能同时给两个用户”私人定制的价值观”，只要你还要求全局的 Pareto 效率。它是个性化对齐 / 多元对齐（pluralistic alignment） 的理论障碍。

它不说的是：”任何模型都会在某个维度上与每个用户失配”——从”存在坏档案”到”对所有用户失配”是量词错置。

2.3 版本 C：distortion 型——不是不可能，是损失多少

这是最现代、也最有用的版本。不问”能不能完美”，问”最坏情况下损失多少”。

设每个人有真实基数效用 $u_i$，但我们只观测到序数信息。定义

\[\text{dist}(f) = \sup_{\text{所有与观测一致的}\ (u_i)} \frac{\max_x \sum_i u_i(x)}{\sum_i u_i(f(\rho))}\]

即：只用序数信息选出的方案，相对于全知全能的功利主义最优，最坏能差几倍。

为什么这个版本重要：它把二值的”不可能”换成了连续的量。你可以证明”某规则 distortion ≤ 3”，然后去优化这个常数。这是从不可能性定理转向算法设计的关键一步，也是 2024–2026 年这条线的主流。

三个版本的关系（请记住这张表）：

 问题结论形态逃逸方式
Arrow能否有好的聚合规则必独裁违反 IIA / 限制定义域 / 基数化
Sen能否尊重多人私域无解放弃全域性 / 放弃 Pareto
Distortion序数信息够不够损失 $O(1)$ 倍优化那个常数 / 索取更多信息

第三部分：Arrow 障碍如何逃逸，以及它逃到哪里去了

核心主题：Arrow 障碍从不消失，它重定位。每一条逃逸路线都换来一个新的、形态不同的困难。这是本讲义反复出现的模式。

3.1 逃逸路线一：基数化（Harsanyi 出口）

练习 1.1 的答案：$\sum_i u_i$ 违反 IIA。因为把候选项 C 从考虑中拿掉，会改变 $u_i$ 的定标（scale）从而改变 A、B 的相对位置——更本质地说，IIA 的实质是禁止跨候选项的强度比较，而求和恰恰需要强度。这不构成反驳，因为 $\sum u_i$ 根本不是 $\mathcal{R}^n \to \mathcal{R}$ 型的函数，它的输入不是序，是数。

定理（Harsanyi, 1955）：若每个个体和社会都是 vNM 期望效用最大化者，且社会满足 Pareto 无差异（全体无差异则社会无差异），则社会效用必是个体效用的线性组合：

\[U = \sum_i \lambda_i u_i, \quad \lambda_i \geq 0\]

这是一条可能性定理，与 Arrow 方向完全相反。代价是什么？

  • 需要偏好定义在彩票（概率分布）上，而不只是确定结果上——这是 vNM 的要求。
  • $\lambda_i$ 不被定理决定。定理只说”存在这样一组权重”，不说是哪一组。

Arrow 障碍在这里重定位为：谁定 $\lambda_i$？ 这就是”人际可比性（interpersonal comparability）”问题。d’Aspremont–Gevers 的分类结果说明：你假设何种可比性，就决定了你能得到哪类社会福利函数——

  • 基数单位可比 ⟹ 功利主义（求和）
  • 序数水平可比 ⟹ maximin / leximin（罗尔斯型）

这对 RLHF 意味着什么：标准 RLHF 损失

\[L(\theta) = \sum_{(x \succ y) \in \mathcal{D}} -\log \sigma\big(r_\theta(x) - r_\theta(y)\big)\]

对数据集里的每一条比较等权求和。这隐含地取了 $\lambda_i \propto$（标注者 $i$ 贡献的标签数）。

于是得到本讲义第一个可操作的结论：

RLHF 的”独裁者”不是偏好独裁者，是数据份额独裁者。 权重 $\lambda_i$ 由标注工作量分配决定，而这个分配从来不是通过任何审议程序确定的——它由外包合同、时区、语言能力和工资水平决定。

这比 Arrow 的独裁结论具体得多，也可检验得多。

3.2 逃逸路线二：限制定义域

Arrow 需要全域性。若把 $\mathcal{R}$ 换成一个受限的偏好类，定理可能失效。

经典例子（Black 中位数选民定理）：若所有人的偏好在某个一维排序上是单峰的（每人有一个最优点，离得越远越差），则简单多数规则是传递的，中位数选民的最优点就是 Condorcet 胜者。Arrow 障碍完全消失。

这条路在对齐里为什么特别有希望：模型输出不是无结构的抽象候选项，它们带特征向量 $\phi(x) \in \mathbb{R}^d$。而人的价值观在很多维度上确实近似单峰或近似线性。这意味着真实的偏好档案可能落在一个远小于 $\mathcal{R}^n$ 的子集里。

这也解释了为什么 Mishra (2023) 那类论证有漏洞：它直接引用 Arrow 而完全没有讨论定义域限制的可能性。这是从”不可能性”跳到”政策建议”过程中最大的论证空缺。

重定位为什么：限制定义域等于假设”人类价值观有低维结构”。这个假设本身需要经验验证，而且一旦某个群体的偏好落在假设之外，他们就被系统性地排除了。几何假设变成了政治排除。

3.3 逃逸路线三：RLHF 本来就违反 IIA

这是最技术、也最被低估的一点。

奖励模型是参数共享的：$r_\theta(x) = \theta^\top \phi(x)$（或更一般的神经网络）。现在考虑增加一条关于第三个回复 $z$ 的标注数据。梯度下降会更新 $\theta$，从而改变

\[r_\theta(x) - r_\theta(y)\]

即使没有任何人改变对 $(x,y)$ 的看法。

结论：真实 RLHF 系统压根不在 Arrow 定理的适用域内。 所以”RLHF 必然独裁”这个推论是不成立的。

但这里有个反转：违反 IIA 不是免费的。它意味着

  • 你的奖励模型对训练数据的组成敏感，而不只是对偏好敏感；
  • 加入无关样本可以改变模型在关键对上的判断——这是一类数据投毒 / 策略操纵的攻击面；
  • 你无法把”模型认为 A 好于 B”这件事局部地审计出来。

重定位：Arrow 的不可能性 → 泛化行为的不可控性。你换来了可能性，付出了可解释性和鲁棒性。

练习 3.1：设 $r_\theta(x) = \theta^\top \phi(x)$，$\theta \in \mathbb{R}^2$。构造三个候选项和两组标注数据，使得两组数据在 $(x,y)$ 上的标注完全相同、仅在涉及 $z$ 的标注上不同，但训练收敛后 $\text{sign}(r_\theta(x) - r_\theta(y))$ 相反。这就是 IIA 违反的显式见证。

3.4 逃逸路线四：随机化

Arrow 要求输出一个确定的社会序。若允许输出概率分布呢？

最大彩票（maximal lotteries）：在多数比较矩阵上求零和博弈的 Nash 均衡（von Neumann 胜者）。它满足 Condorcet 一致性，且总是存在——用混合策略绕过了 Condorcet 循环。

对应的算法：Nash Learning from Human Feedback（Munos et al., 2023, arXiv:2312.00886）。放弃拟合奖励模型，直接求偏好模型的 Nash 均衡。这条线的动机正是：BT 模型强制传递性，而真实的成对偏好数据经常是非传递的（Condorcet 循环真实存在于标注数据中）。

重定位：模型行为变成随机的。同一个提示可能得到不同风格的回答——这在”多元表达”意义上是特性，在”可靠性 / 可审计”意义上是缺陷。

第四部分：Constitutional AI 的社会选择解剖

现在回答那个核心问题：独裁定理和 CAI 是什么关系？

4.1 先把 CAI 的结构说清楚

Constitutional AI（Bai et al., 2022）的流程：

  1. 写下一份宪法——一组高层规范原则（Claude 最初的宪法有 58 条）。
  2. 模型生成回复 → 模型依据宪法条款自我批评 → 模型自我修订。
  3. 用修订后的数据做监督微调；再用宪法引导模型给自己的输出排序（RLAIF），训练偏好模型。

关键：大量的人类成对标注被一份文本替代了。

4.2 CAI 不是 Arrow 意义上的独裁

严格辨析。Arrow 的独裁者定义：存在档案中的某个选民 $i$，使得对一切档案 $\rho$，$x \succ_i y \Rightarrow x \succ y$。

宪法不满足这个定义，因为：

  • 宪法不是 $\rho$ 的一个分量。它是外生的，不随标注者偏好变化。
  • $f$ 的输入根本不再是偏好档案。CAI 的输入是「宪法 + 模型自身」。

所以精确的陈述是：

CAI 不是通过满足 Arrow 公理来逃逸的，而是通过拒绝做社会福利函数来逃逸的。

它退出了定理的适用域，因为它不再是 $\mathcal{R}^n \to \mathcal{R}$ 型的映射。

4.3 但你的直觉在更深的层面是对的

政治哲学里有一个古老的区分，正好对应这里：

 聚合式民主宪政主义
合法性来源程序：票数、多数、聚合规则文本：明示的原则、可解释、可修订
遇到分歧时计票诉诸条款
面对 Arrow直接受害不适用
对应技术RLHFConstitutional AI

Arrow 定理可以读成一个关于聚合式民主的不可能性论证：如果你坚持合法性只能来自聚合程序，那么在合理公理下你只能得到独裁。

CAI 的隐含回应是：那就不要假装合法性来自聚合。把规范明确写下来、公开、可批评、可修订，用透明性和可问责性替代聚合的合法性。

用一句话概括你的直觉的正确版本：

Arrow 说”若坚持聚合，权力必然集中于某处”。CAI 的回答不是”我们找到了不集中的办法”，而是”我们把它写下来，让你看得见它集中在哪里”。

这是一个关于合法性形式的转换，不是一个数学定理的应用。它比”CAI 就是独裁”这个说法更弱，但也更站得住脚，而且更有用——因为它立刻给出可检验的问题：宪法条文是谁写的？依据什么？如何修订？

4.4 Collective Constitutional AI：把 Arrow 请回来

Anthropic 与 Collective Intelligence Project 在 2023 年做了 CCAI：用 Polis 平台，招募约 1000 名具代表性的美国成年人，让他们提交和投票产生规范原则；参与者共贡献了 1127 条陈述、投出 38252 张票（人均约 34 票）。据此产生一份”公众宪法”，并用它训练了一个模型，与用 Anthropic 内部宪法训练的模型对比。

结果里有几点对我们特别有意思：

  • 两份宪法概念重合度约 50%；公众版更强调客观性、中立性和可及性。
  • Polis 识别出了两个独立的意见群体。
  • 公众宪法模型在各项上对美国政治意见分布的代表性反而一致地更低。

从社会选择角度看 CCAI 的三个观察：

（一）Arrow 障碍被上移了一层，没有被消除。 现在需要聚合的不是”哪个回复更好”，而是”哪条原则该入宪”。这仍然是一个偏好聚合问题，仍然有 $X\geq 3$，仍然要选一个聚合规则。Arrow 重定位到了制宪会议。

（二）Polis 本身是一个聚合规则，而且不是多数规则。 Polis 用降维和聚类找出意见群体，然后突出跨群体一致同意的陈述。这在社会选择里更接近共识规则 / 比例代表，而非多数规则。它系统性地排除了争议性最强的条款。这是一个规范选择，且这个选择决定了输出。

（三）”两个意见群体”这个发现本身是关键数据。 它说明标注者群体是异质的。而下一节会证明：异质性正是把基数逃逸路线堵死的那个东西。

第五部分：从”不可能”到”实际是什么”——最重要的一次转折

到目前为止我们做的都是”某某不可能”。这类结论的实用价值有限。真正的进展来自一个不同的问题：

不问”能不能有好规则”，而问：我现在跑的这个算法，实际上等价于哪个投票规则？

5.1 Borda 定理

结果（Siththaranjan, Laidlaw & Hadfield-Menell, ICLR 2024, arXiv:2312.08358）：标准偏好学习——包括 RLHF——在隐藏语境（hidden context） 上的隐式聚合，恰好等于 Borda count。

设定：设每次标注除了输入 $x$ 之外，还依赖一个不被记录的变量 $z$（标注者身份、当次判据是”有用性”还是”无害性”、当时的心情……）。标注者的实际偏好由 $u(x, z)$ 决定，但奖励模型只能看到 $x$。

结论：拟合出的 $\hat r(x)$ 与

\[\text{BC}(x) = \mathbb{E}_{y \sim p}\big[\Pr(x \succ y)\big]\]

只差一个单调变换。因此在 RL 阶段最大化 $\hat r$ 得到的最优输出，就是 Borda 胜者。

为什么这是个漂亮的结果：

  • 它不是比喻，是定理。
  • 它是建设性的：告诉你规则是哪一个，不是告诉你规则不存在。
  • 它立刻推出可操作的推论：Borda 是位置型规则（positional rule），只看排名不看强度。所以一个被 51% 的人轻微偏好、被 49% 的人强烈厌恶的输出，会打败一个反过来的输出。
  • Borda 违反 IIA，且高度易被策略操纵。所以标注者有谎报偏好以操纵模型的激励——这是 RLHF 一类真实的安全漏洞。

5.2 与第三部分的合流：这才是本讲义的主干

现在把 §3.1 和 §5.1 拼起来，你会看到整个结构：

  • 若标注者偏好同质（无隐藏语境）：BT 模型恢复出真实效用，Harsanyi 出口有效，Arrow 不适用。基数化成功。
  • 若标注者偏好异质（有隐藏语境）：BT 模型收敛到 Borda count，你回到了序数投票规则的世界，Arrow 及其全部病理重新适用。

核心命题：基数化并不真正逃出 Arrow。它只在偏好同质时逃出。异质性把你推回序数世界。

而 CCAI 的实验恰好发现了两个意见群体——异质性是实证事实，不是理论假设。

这一步同时也解释了为什么”RLHF 拟合的是平均人类偏好”这个说法既对又错：它确实在做某种平均，但那个平均是 Borda 意义上的位置平均，而不是效用意义上的功利主义平均。二者在异质人群上会给出显著不同的答案。

练习 5.1：构造一个三候选项、两类标注者的例子，使 Borda 胜者与功利主义最优（$\arg\max \sum_i u_i$）不同。这个例子就是”RLHF 平均掉了什么”的最小反例。

练习 5.2：证明 Borda count 违反 IIA。（提示：改变一个不参与比较的候选项的位置。）

第六部分：算法层——有了诊断之后能做什么

6.1 公理化奖励学习

Ge, Halpern, Micha, Procaccia, Shapira, Vorobeychik, Wu, Axioms for AI Alignment from Human Feedback, NeurIPS 2024 (spotlight)

思路：既然奖励学习是偏好聚合，就用社会选择的公理来评价它。

两条公理：

  • Pareto 最优性（PO）：所有人一致的排序必须被保留。
  • 成对多数一致性（PMC）：若存在一个奖励函数，其诱导的排序在每一对上都与多数意见一致，则输出必须是那个排序。（这是 Condorcet 一致性向排序的推广。）

主要结果：当损失函数弱凸非降或严格凸时——二元交叉熵、指数损失、hinge 损失都满足——BTL 模型及其广义形式违反基本公理。注意代入二元交叉熵就恰好还原出 BTL，所以这个结果覆盖了实际在用的东西。

建设性部分：他们设计了满足强公理保证的新规则。关键在于问题带有线性结构（奖励是特征的线性函数），这极大限制了可行规则空间——他们称之为 linear social choice，是社会选择里的一个新范式。

为什么这是好研究：它把”限制定义域”这条逃逸路线（§3.2）变成了定理。线性结构 = 定义域限制 = Arrow 障碍减弱 = 好规则重新变得可能。

6.2 Distortion 视角

不问可不可能，问序数信息不足会损失多少福利，然后设计常数因子竞争的算法。近年有专门的工作把 distortion 框架搬到对齐上（如 Distortion of AI Alignment: Does Preference Optimization Optimize for Preferences?, arXiv:2505.23749）。

教学价值：这是”不可能性定理”到”近似算法”的标准转换范式，和你熟悉的 NP-hard → 近似比是同一个思维动作。

6.3 可微社会选择：最前沿的统一视角

An & Du, Methods and Open Problems in Differentiable Social Choice, arXiv:2602.03003 (2026)

这篇综述提出的统一观点，可以说是这整条线目前最好的总结：

损失函数就是隐式的聚合规则；架构的归纳偏置就是公理；比例性、鲁棒性、激励相容这些性质是被学出来的——因而是脆弱的。

具体机制：

  • 把不连续的投票准则（Copeland = 成对多数获胜数、Kemeny = 最小化成对分歧）替换为可微的光滑替代损失，并证明当光滑参数趋于零时的一致性与极限行为。
  • 于是”选一个投票规则”变成”选一个损失函数”，而且可以做加权混合——在 Condorcet 一致性与优化稳定性之间连续插值。
  • 一句话：loss design is mechanism design。

这篇同时点明了一个方法论张力，值得记住：规范上有吸引力的目标往往导致非光滑或组合优化；而光滑的目标可能悄悄烤入了非预期的规范偏见。 Borda 定理正是后者的一个实例——交叉熵损失光滑好优化，代价是你在不知情的情况下采用了 Borda。

它提出了 18 个开放问题，其中对你最直接的一类是：能否给出训练后的证书（或架构级保证），确认学到的规则满足匿名性、中立性、单调性或 Condorcet 一致性，而不只是有限样本上的经验检验？

6.4 异质性与”对齐给谁”

Shirali et al. (2025) 形式化了带用户类型的对齐，分析在异质奖励下学单一策略的极限。他们给出了条件，在这些条件下最优单一策略对应于在类型上最大化平均奖励（即功利主义聚合），但同时指出：达到这一点通常需要实践中缺失的信息（标注者身份或类型标签）。

这正好把 §5 的诊断闭环：Borda 之所以出现，就是因为类型标签缺失。补上类型标签，你就有机会回到功利主义聚合。 这也解释了为什么原论文提出的对策（distributional preference learning，估计每个输出的效用分布而非单点）在实验上能显著降低越狱脆弱性。

第七部分：整合——一张认知地图

                    人类价值多样
                          |
              「要不要聚合？」
             /                    \
          聚合                      不聚合
       (RLHF/RLAIF)            (Constitutional AI)
            |                          |
      Arrow / Sen 适用            退出定理适用域
            |                          |
      ┌─────┴─────┐              合法性 = 透明的明文
      |     |     |                    |
   基数化  限域  随机化          「宪法谁来写？」
      |     |     |                    |
   Harsanyi Black 最大彩票      Collective CAI (Polis)
      |     |     |                    |
      |     |   Nash-HF                └──→ Arrow 重现于制宪层
      |     |
      |     └──→ linear social choice (Ge et al.)
      |
   异质性 ⟹ 隐藏语境 ⟹ **Borda count** (Siththaranjan et al.)
      |
      └──→ 权重 λᵢ ∝ 标注份额  ⟹ 「数据份额独裁者」
                |
        可微社会选择：loss = 聚合规则 (An & Du 2026)
                |
        开放问题：公理的训练后证书

四条应该带走的结论：

  1. Arrow 障碍不会消失，只会重定位。 基数化 → 权重从哪来；限域 → 谁被排除在假设之外；随机化 → 行为不可复现；立宪 → 谁制宪。能识别出重定位到了哪里，比记住定理更重要。

  2. RLHF 的权力集中不在偏好层面，在数据层面。 隐式权重 $\lambda_i \propto$ 标注份额。这是可测量、可审计、可改变的——比抽象的”独裁者”有用得多。

  3. 异质性是判据。 同质 ⟹ 基数化有效，Arrow 无关；异质 ⟹ 塌回 Borda，Arrow 全部病理回归。而现实是异质的（CCAI 的两个意见群体是实证证据）。

  4. CAI 与 Arrow 的关系是合法性形式的转换，不是定理的应用。 说”CAI 是独裁”是错的（宪法不在档案里）；说”CAI 承认聚合无法提供合法性，因而改用明文与可修订性”是对的。

第八部分：阅读顺序与练习

8.1 建议阅读顺序

第一梯队（必读，按此顺序）

  1. Siththaranjan, Laidlaw & Hadfield-Menell, Understanding Hidden Context in Preference Learning, ICLR 2024, arXiv:2312.08358 — 全领域最漂亮的定理，也是唯一一个”算出来”而非”套用”的结果。
  2. Ge et al., Axioms for AI Alignment from Human Feedback, NeurIPS 2024 — 你的 Arrow 证明技术最能直接派上用场的地方。
  3. Conitzer et al., Position: Social Choice Should Guide AI Alignment, ICML 2024, arXiv:2404.10271 — 领域地图。

第二梯队（背景与前沿）

  1. Bai et al., Constitutional AI, arXiv:2212.08073 — 原始 CAI。
  2. Huang, Liao, Durmus, Tamkin, Ganguli, Collective Constitutional AI, FAccT 2024, arXiv:2406.07814 — 民主化尝试及其实证结果。
  3. An & Du, Methods and Open Problems in Differentiable Social Choice, arXiv:2602.03003 (2026) — 最前沿综述，18 个开放问题。
  4. Sorensen et al., A Roadmap to Pluralistic Alignment, arXiv:2402.05070 — 多元对齐的分类框架（Overton 多元、可引导多元、分布多元）。

第三梯队（理论基础，随用随查）

  1. Sen, The Impossibility of a Paretian Liberal, JPE 1970 — 只有 6 页，值得读原文。
  2. Harsanyi, Cardinal Welfare, Individualistic Ethics…, JPE 1955 — 基数出口的原点。
  3. d’Aspremont & Gevers, Social Welfare Functionals and Interpersonal Comparability, Handbook of Social Choice and Welfare Vol.1 — 人际可比性的完整分类。

可跳过：Mishra, arXiv:2310.16048。历史意义大于技术内容，两个定理都是引用的，Sen 部分的例子不成立。

8.2 练习题

基础

  • 1.1 见 §3.1。
  • 5.2 证明 Borda 违反 IIA。
  • 6.1 证明简单多数规则在单峰域上传递，且中位数选民的峰是 Condorcet 胜者。

中等

  • 3.1 构造 RLHF 违反 IIA 的显式见证（见 §3.3）。
  • 5.1 构造 Borda 胜者 ≠ 功利主义最优的最小例子。
  • 8.1 证明 BTL 违反 Condorcet 一致性：构造一个存在 Condorcet 胜者、但交叉熵损失的最优解不把它排第一的数据集。

进阶

  • 8.2 设标注者 $i$ 贡献了数据集中比例 $w_i$ 的标签。形式化「$\lambda_i = w_i$」这个断言，给出它成立所需的确切条件（提示：需要标注者在候选对上的抽样是独立同分布的吗？）。找出它失效的情形。
  • 8.3 把 §2.2 的 Sen 悖论例子改写成 Constitutional AI 的语言：两条宪法条款，各自保护一类用户的私域，加一条 Pareto 型元原则，使三者不相容。这题的意义是：Sen 悖论对 CAI 同样适用，因为宪法条款本身可以编码私域权利。
  • 8.4 阅读 An & Du 的 18 个开放问题，选一个”训练后公理证书”类的问题，给出在 $r_\theta(x) = \theta^\top \phi(x)$ 这个最简单情形下的完整解答。线性情形下匿名性和单调性都是可判定的——这是一篇小论文的种子。

8.3 一个可做的研究方向

把 §5 的诊断和 §3.1 的权重问题合起来：

已知在隐藏语境下 RLHF 收敛到 Borda count（Siththaranjan et al.），也已知隐式权重正比于标注份额（§3.1）。这两个陈述是否相容？ 若标注份额不均匀，得到的是 Borda 还是加权 Borda？加权 Borda 的公理性质是什么？在什么条件下加权 Borda 退化为独裁（即某个 $w_i \to 1$ 的极限，以及这个极限有多快）？

这个问题据我所知没有被完整回答，技术门槛也在一个大一学生认真做一学期能够到的范围内：它需要的只是 BT 模型的一阶条件、位置型规则的公理刻画，以及一点渐近分析。

讲义结束。若要继续深入，建议先做完 §8.2 的基础与中等题，再进第二梯队阅读。