校准行为真正能识别的奖励信息

1五分钟速览

逆强化学习（IRL）观察的是行为，却试图恢复奖励。问题在于，同一个行为通常可以由很多奖励解释。因此，可信的不确定性说明必须先回答：这个奖励差会不会改变策略之间的价值比较？

1. 第一步训练集
   拟合中心 \(\bar\theta\)
2. 第二步校准集
   计算距离分数 \(s_k\)
3. 第三步Conformal 分位数
   得到 \(q_\gamma\)
4. 第四步部署
   求相对鲁棒策略

1.1 本文建立的逻辑链

1. 用半范数 \(\Dnorm{\cdot}\) 忽略给所有策略添加同一常数的方向，再用单位跨度归一化消除正比例尺度。
2. 把“策略 \(\pi\) 在哪些奖励下最优”写成 Bellman 线性不等式组成的锥 \(K(\pi)\)。
3. 以点估计到该锥的距离作为 conformal 分数，得到新演示者可行奖励锥的有限样本相交覆盖 \(q_\gamma\)。
4. 用已认证的归一化逆 fiber 直径 \(\eta\)，把相交半径扩成潜在奖励包含半径 \(R\)。
5. 在半径 \(R\) 上求参考相对鲁棒策略；若 \(R\ge1\)，框架明确报告保证退化：最优相对鲁棒值为零，由参考占用取到（\(R>1\) 时任何最优解都与参考特征等价）。

2问题：我们只看到策略，却想理解奖励

2.1 共享的有限 MDP

第 \(k\) 位演示者有感知奖励 \(\hat\theta_k\)，并给出最优确定性策略 \(\pi_k=\pi^*(\hat\theta_k)\)。统计单位是演示者，不是轨迹中的每个时间步。

2.2 点估计为什么不够？

普通 IRL 从训练演示者拟合单个 \(\bar\theta\)，再部署 \(\pi_{\bar\theta}\)。这把“很多奖励都能解释行为”的事实压成了一个点。CP-IRL 转而用另一组校准演示者学习一个有有限样本含义的集合。

3占用测度：把无限时间的 MDP 变成线性代数

3.1 定义

它可理解为按折扣随机抽一个时间点后，智能体出现在 \((s,a)\) 的概率；因此 \(\sum_{s,a}\mu_\pi(s,a)=1\)。

3.2 所有可行占用测度形成多面体

满足流量守恒的所有 \(\mu\) 构成凸多面体 \(\M(P)\)。动态策略空间因此被改写成线性约束集合。

3.3 回报也是线性的

\(\Phi^\top\mu\) 是策略的期望特征向量，所以最优策略可由线性规划 \(\max_{\mu\in\M(P)}\theta^\top\Phi^\top\mu\) 求得。

全文约定：\(V_\theta(\mu)\) 的自变量始终是占用测度；写策略时一律写成 \(V_\theta(\mu_\pi)\)，不留歧义。

4为什么行为不能唯一识别奖励？

4.1 加性不可识别方向

若某个方向 \(v\) 对所有可行占用测度都给出同一个值，

那么把 \(v\) 加到奖励上，只会给每个策略价值加同一常数，不改变策略排序。潜势奖励塑形、不可达状态上的某些奖励都可能产生这种方向。

4.2 正比例缩放也不可识别

对任意 \(c>0\)，\(\theta\) 和 \(c\theta\) 诱导相同的策略排序。因此本文先令 \(\theta^\circ=\theta/\Dnorm{\theta}\)，只比较单位跨度代表元。代码和公式都不需要显式构造商空间，但零距离关系已经隐式完成了识别。

4.3 两策略小例子

若只有两个可行期望特征 \(z_1=(1,0)\)、\(z_2=(0,1)\)，且暂取 \(\beta=0\)，则奖励 \(v=(v_1,v_2)\) 真正影响选择的只有 \(v_1-v_2\)：

加上 \(c(1,1)\) 会让两策略价值同时增加 \(c\)，却不改变差值。这就是下一节半范数的最小模型。

5占用跨度半范数：只度量会改变策略比较的差异

5.1 定义

它问：在奖励差 \(v\) 下，最偏好与最不偏好的策略之间最多能拉开多大价值差。

把它写成支持函数会更方便。定义特征差分体

后面第 8 节的鲁棒惩罚用的就是同一个 \(\DF\) 的极对偶规范函数，所以校准和部署不是两个任意拼接的模块。除以 \(1-\beta\) 是必需的：它保证 \(\Dnorm{v}\) 就是下面那个真实价值差，而不是被折扣因子缩放过的东西。

5.2 为什么是“半范数”？

它满足正齐次性和三角不等式，但可能有非零 \(v\) 满足

这正是设计目标：行为无法区分的加性方向不应消耗不确定性半径。

5.3 常数 1 的 regret 上界

常数就是 \(1\)，没有 Cauchy–Schwarz 的余量，也没有特征范数的 Lipschitz 因子——因为半范数就是按它要界住的那个价值差定义的。

5.4 最小性：满足 regret 上界的逐点最小半范数

5.5 为什么它对特征重参数化不敏感？

令 \(\tilde\phi=A\phi\)、\(\tilde\theta=A^{-\top}\theta\)，其中 \(A\) 可逆，则

奖励函数和所有策略价值都不变，因此占用跨度不变。普通欧氏角度则会随坐标轴伸缩而改变。

5.6 射影跨度距离

对行为非零（\(\Dnorm{\theta}>0\)）的奖励，\(d_\circ(\theta,\theta')=0\) 当且仅当 \(\theta'=c\theta+a\)，其中 \(c>0\)、\(a\) 是加性空方向。它同时忽略两种行为不变变换，并满足归一化 regret 上界

6Bellman 可行奖励锥：哪些奖励能解释观测策略？

6.1 从“策略最优”到线性不等式

6.2 Bellman 预解式

固定 \(\pi\)，令

于是解释策略 \(\pi\) 的奖励构成多面锥

价值函数已经被消掉，所以可行性检查变成只含 \(\theta\) 的 \(|S|(|A|-1)\) 条线性不等式，决策变量只有 \(d\) 个。论文对这个化简做了独立复核：与直接联立 \((\theta,V)\) 的参考实现对比，精度到求解器容差，速度快 2–5.5 倍（\(|S|\) 从 20 到 100）；不同策略只差 \(k\) 个状态时，用 Sherman–Morrison–Woodbury 以 \(O(k|S|^2+k^3)\) 更新，不必每次重解。

6.3 必须区分的两个集合

7Conformal 校准：有限样本保证什么？

7.1 距离到可行锥的分数

\(s_k\) 小，表示演示者的可行奖励锥离中心近；\(s_k\) 大，表示集合必须扩得更宽才能碰到一种兼容解释。

因为零奖励属于每个锥，\(0\le s_k\le1\)。这个分数无量纲，对中心奖励的正缩放、加性空方向以及可逆特征重参数化都不变；它是单个线性规划（\(d+2|S|\) 个变量）。

7.2 校准集合与精确等价

分数事件不是被勉强“解释成”集合覆盖；它由最小距离定义直接等价于集合相交。

7.3 分位数与有限样本保证

设校准分数有 \(n\) 个。令 \(\tau=\lceil\gamma(n+1)\rceil\)，取第 \(\tau\) 小分数为 \(q_\gamma\)；若 \(\tau=n+1\)，使用 \(+\infty\) 哨兵。

7.4 三种构造的事件并不完全相同

7.5 第二阶段：用 fiber 宽度把相交变成包含

定义单位跨度逆 fiber

若已知几何或额外识别信息能够认证每个部署 fiber 的射影直径不超过 \(\eta\)，且每个潜在奖励行为非零（\(\Dnorm{\hat\theta}>0\)），则 LP 分数给出

因子 \(2q_\gamma\) 来自两步：先找到离中心不超过 \(q_\gamma\) 的锥内见证，再把见证归一化到单位跨度，至多再移动 \(q_\gamma\)。若 \(q_\gamma\ge1\)，见证可能是零奖励，只能退回通用半径 \(R=2\)。

换个角度看：若改用最大距离 \(s^{\max}(\pi):=\max_{u\in F^\circ(\pi)}\Dnorm{u-\bar\theta^\circ}\) 作分数，在假设 1 和潜在奖励非零条件下，同一 conformal 论证直接给出包含。一般情形是凸函数在非凸集上的最大化；接收后新增的附录 D 只在一个可解析的两维特例中精确求解它。在假设 2 下逐点有 \(s^{\max}\le 2s+\eta\)，而单调递增变换与次序统计量可交换，故 \(q^{\max}_\gamma\le 2q_\gamma+\eta\)。因此 LP 分数的包含桥需要 \(\eta\) 证书；若能计算精确最大分数，则可绕过该桥：在 \(F^\circ\) 上取最小可去掉因子 2（\(R=\min\{2,q_\gamma+\eta\}\)），取最大则连 \(\eta\) 也可去掉，但两者都非凸。

8相对鲁棒决策：为什么需要参考占用测度？

8.1 绝对最坏情况可能无界

半范数球沿加性空方向无界。直接求

时，对手可能沿空方向把所有策略的绝对价值一起推向负无穷。这不影响策略比较，却会破坏绝对值目标。

8.2 改为相对参考策略的优势

给所有策略加同一常数的方向会在差值中抵消。原始实验以校准演示者的平均占用测度为参考；新增附录 D 固定均匀策略为参考。

8.3 支持函数—规范函数对偶给出 LP

沿用第 5.1 节的差分体 \(\DF=\Phi^\top(\M(P)-\M(P))/(1-\beta)\)，并令 \(x=\Phi^\top(\mu-\mu_{\mathrm{ref}})/(1-\beta)\)，则

第一项就是 \(V_{\bar\theta^\circ}(\mu)-V_{\bar\theta^\circ}(\mu_{\mathrm{ref}})\)。\(\gamma_{\DF}\) 是 \(\DF\) 的 Minkowski 规范函数，可由两份缩放占用流变量线性表示。\(1-\beta\) 只出现一次，已经包含在 \(x\) 和 \(\DF\) 的定义里，不可省略，也不能再除一次：\(\Dnorm{\cdot}=h_{\DF}\) 正是靠这个因子才等于真实价值差；漏掉或重复它都会让中心项与惩罚项在 \(\beta=0.9\) 时相差 10 倍。

更重要的是结构上的呼应：校准用 \(\DF\) 的支持函数，鲁棒化用它的极对偶规范函数，两者来自同一个占用差分体。

8.4 由包含得到相对参考的安全性

参考占用本身的最坏相对优势恒为零，所以鲁棒最优解的最坏优势至少为零。在潜在归一化奖励落入 \(B_R\) 的事件上，便有

8.5 退化阈值：\(R\ge1\)

单位跨度中心对任意候选占用的中心优势不超过规范惩罚，因此鲁棒目标至多为

当 \(R\ge1\) 时它对所有候选都不大于零，而参考占用达到零，所以最优相对鲁棒值为零；当 \(R>1\) 时每个最优解都与参考特征等价（模空方向），\(R=1\) 时还可能出现暴露面上的额外并列解。要得到非平凡安全改善，LP 桥至少要求 \(2q_\gamma+\eta<1\)。

8.6 固定核下鲁棒目标是凹的——以及它什么时候不成立

9四层逻辑必须逐层经过

9.1 为什么这不再是“把两个模块拼起来”？

占用特征多面体 \(\M(P)\) 是统一起点：奖励是其上的线性函数；\(K(\pi)\) 是解释该策略的 Bellman 可行锥（初始分布全支撑时即策略点处的法锥）；差分体 \(\DF=\Phi^\top(\M(P)-\M(P))/(1-\beta)\) 的支持函数给出校准距离 \(\Dnorm{\cdot}=h_{\DF}\)；同一差分体的极对偶规范给出鲁棒惩罚。包含桥还需要可辨识性条件 \(\eta\)。CIO 已在 Assumption 2 引入逆可行集直径界，并在 Theorem 3 使用它；本文将其适配到单位跨度几何。

9.2 理想分数与可解分数的取舍

若直接计算到单位跨度 fiber 的距离，包含半径可缩成 \(q_\gamma+\eta\)，但约束 \(\Dnorm{\theta}=1\) 非凸。当前 LP 分数允许锥内任意尺度，因此付出 \(2q_\gamma\) 的归一化代价。这个常数是计算性与统计半径之间的明确交换。

10实验究竟说明什么？

原始稿报告三个机制实验；接收后附录 D 增加一个单独标注的小型诊断。主审计覆盖 3 个环境、2 个中心占用跨度非零的估计器（MaxEnt 与 Bayesian）、10 个种子；每次运行各有 20 个训练、20 个校准、20 个测试演示者，共 60 次运行和 1,200 次测试评估（600 个不同测试奖励在两个估计器间复用）。置信区间以 30 个环境—种子块为独立重复单位，先平均共享同一批数据的两个估计器，再计算 95% Student-\(t\) 区间。

10.1 实验一：对“什么都没改变”的干预，半径会不会改变？

对每个 \(\kappa\in\{1,2,5,10,50,200\}\) 和 10 个种子中的每一个，实验随机生成一个 MDP（\(|S|=6\)、\(|A|=3\)、\(d=4\)）、一个中心和 16 个校准演示者，再随机生成条件数为 \(\kappa\) 的对称正定矩阵 \(A\)，施加可逆特征变换 \(\phi\mapsto A\phi\)、\(\theta\mapsto A^{-\top}\theta\)。每个状态—动作奖励、最优策略和演示数据都完全相同，只有坐标写法变了。因此这不是普通相关性比较，而是一个直接的反事实检验：正确的奖励不确定性不应移动。

• 点态奖励最大数值差只有 \(2.1\times10^{-14}\)。
• 当条件数 \(\kappa=200\) 时，角度半径平均移动 \(0.424\) 弧度，即 \(24.3^\circ\)；最坏种子移动 \(1.071\) 弧度。
• 未做单位跨度归一化的 decision-aware 半径在这项实验中的最大变化为 \(2.0\times10^{-8}\)，处于求解器误差量级。

所以实验一支持的结论很窄但很强：欧氏角度不是这个 IRL 问题的内在几何；它不支持“新方法的策略一定更好”。

10.2 实验二：相交覆盖与潜在奖励包含是否真有差别？

三种分数事件都达到目标；角度和 decision-aware 的分数事件还分别精确等价于逆集合相交。但同一个 \(q_\gamma\) 对潜在奖励的包含率远低于目标。decision-aware 的第三列已使用不随特征重参数化变化的射影跨度距离，因此它直接展示：Stage I 正确，不代表 Stage II 自动成立。

value-gap 那一行同时说明两件事：它的分数事件并不等价于逆集合相交（§7.4），所以 0.838 只是分数覆盖；换成欧氏半径后包含率掉到 0.004。

10.3 实验三：额外识别必须强到什么程度？

对每次运行，定义可直接观测的“识别预算”

认证的 fiber 宽度必须满足 \(\eta<b\)，才有 \(R=2q_\gamma+\eta<1\)。这只是正的最坏情况优势的必要条件，并非充分条件。这张前沿图不是从测试真值“估计” \(\eta\)，而是在回答：未来的多环境观测、主动比较或先验约束至少要把 fiber 压到多窄。

• \(q_\gamma\) 的总体均值为 \(0.316\)，中位数为 \(0.289\)，范围为 \([0.019,0.871]\)。
• 如果外部机制能认证 \(\eta=0\)、\(0.2\)、\(0.5\)，分别有 85.0%、76.7%、36.7% 的运行仍满足 \(R<1\)。
• 在 \(\eta=0.2\) 的假设下，random MDP、gridworld、Objectworld 满足半径阈值的比例分别为 95%、60%、75%。
• 使用唯一通用证书 \(\eta=2\) 时，所有运行都有 \(R=2\)，满足半径阈值的比例严格为 0。

10.4 为什么“包含率 1、参考安全率 1”并不是好消息？

在通用 \(\eta=2\) 下，扩张包含率与相对参考安全率都等于 1，但算法返回的正是参考占用测度。这里的 1 只是定理和实现相互吻合：集合大到足以包含一切，也大到该球上的最优最坏情况优势为零。不能把它写成“我们取得 100% 安全且性能优越”。

10.5 点估计器也有定义域检查

exact-fit LP-IRL 在 30 个环境—种子拟合中有 1 次返回占用跨度为零的中心。此时单位跨度代表元不存在。主射影审计因此使用每次都产生占用跨度非零中心的 MaxEnt 与 Bayesian；LP-IRL 的失败被记录为 abstention，而不是加一个任意 epsilon 掩盖。

10.6 原始 Regret 表格：没有检验正优势的认证处方

Stage-I 跨度策略 6 格赢 2、输 4；认证的 Stage-II 策略在每一格都比点估计差。退化命题预测的是返回参考策略；参考策略比点估计差则是经验结果，并非定理结论。这些比较都不在定理 1 的覆盖范围内——它保证的是对 \(\mu_{\mathrm{ref}}\) 的优势，不是对点估计的优势。论文报告这张表是为了让正文里的说法有出处，而不是把它当作性能提升的证据。

10.7 集中不等式基线

在角度分数上，DKW 界在所有测过的情形下都不比精确 conformal 校准更窄。在 value-gap 分数上，校正后的水平 \(\gamma+\varepsilon\) 在 \(\gamma=0.8\)、\(\delta=0.05\)、\(N\le46\) 时超过 1，所以在本文的校准规模下 DKW 半径是无穷大、什么也不保证；若人为截断为 \(10\|\bar\theta\|_2\)，真实奖励 regret 是点估计的 4–460 倍——这个倍数反映的是截断值，而不是界本身。

接收后补充：精确锥小实验

2026 年 10 月 6 日新增，未包含在已评审稿中。附录 D 使用单状态、两维奖励、正多边形动作特征；单位跨度可行锥截面是线段，端点精确给出全锥直径与最大分数，无需从潜在测试奖励估计证书。

16 动作时，η = 0.397825，q = 0.191342，R = 0.780508，相对固定均匀参考的最坏情况优势为 0.109746。精确最大分数给出半径 0.581596、优势 0.209202；二者选择同一动作，改进的是证书而非策略表现。100 个独立划分，每次 20 个校准、100 个测试奖励。

4 动作控制中，桥接球与最大分数球的最优最坏情况优势均为零；同一控制的完整归一化可行锥却支持 0.5 的优势。这定位了球形包络的保守性，并非新的通用总体覆盖方法。结果不证明原始基准上的有用宽度或性能提升。

附录 D · 可复现脚本 · 记录结果 · 修订记录

11创新在哪里？哪些不是新的？

11.1 可信的创新定位

• 用保持奖励函数不变的特征重参数化实验，定量揭示角度 CIO 在 IRL 中的坐标依赖。
• 结合 Bellman 可行奖励锥与占用跨度，构造具有精确相交含义的 conformal 分数。
• 用单位跨度射影化同时处理正尺度和加性空方向，同时保持 Stage-I 分数为 LP。
• 以 fiber 直径 \(\eta\) 明确连接相交覆盖、潜在奖励包含和参考相对安全处方。
• 证明该球形构造的退化阈值：\(R\ge1\) 时最优最坏情况优势为零；\(R>1\) 时所有最优解与参考特征等价，\(R=1\) 时可有其他并列解。代码中的 nontrivial 仅表示 \(R<1\)。

11.2 已有基础

11.3 下一步的两条独立路线

开放问题不是再找一个 IRL 点估计器，而是有两条互相独立的路线：

1. 算法路线：直接算 \(s^{\max}\)。 这样完全不需要 \(\eta\)。因为 \(\Dnorm{v}\) 是有限多个线性泛函的最大值（\(\M(P)\) 每对顶点一个），它的单位球是多面体，\(F^\circ(\pi)\) 是“多面锥 ∩ 该边界”，即有限个多面片的并，而凸函数在这个并上的最大值在某个顶点取到。小 \(d\) 时可枚举；一般情形的复杂度、以及 LP 与精确程序之间是否存在有用的松弛，论文留作开放问题。
2. 数据路线：认证小的 \(\eta\)。 附录 D 在已知 MDP 上直接计算全锥宽度。更一般的手段包括多动力学观测、主动比较或已知奖励限制；若限制可行锥，须同步修改分数与证书。

两条路线互补——一条减少必须假设的东西，另一条加强可以假设的东西——并且都推动第 10.3 节的同一条前沿。

11.4 适用边界

12一页公式速查

表格型 MDP线性奖励 完整最优策略演示者交换性 边际覆盖