Agentic AI 系统正在从「序列预测」走向「Agentic 行为」，评估目标从「生成合理响应」转变为「在不确定性下做出有效决策」。当 LLM 在预测和推理任务上表现优异的同时，高价值应用的核心瓶颈却并非生成能力，而是如何在不确定性中进行理性决策——何时停止、路由到何处、投入多少资源、何时升级人工。ICML 2026 的这篇 Position 论文给出了一个严谨的答案：LLM 本身无需成为贝叶斯推断引擎，但编排 LLM 的 AI 系统在做决策时应当与贝叶斯推理保持一致。本报告梳理该论文的核心论证、设计属性、具体案例及对软件工程需求分析的实践启发。

---

一、论文概述

论文信息

>

| 项目 | 内容 |

|:-----|:-----|

| 标题 | Position: Agentic AI Orchestration Should Be Bayes-consistent |

| 作者 | Theodore Papamarkou 等 30 人 |

| 会议 | ICML 2026 |

| 链接 | arXiv:2605.00742 |

| 标签 | Bayesian Decision Theory, Agentic AI, LLM Orchestration, Uncertainty Quantification |

1.1 一句话核心观点

Agentic AI 系统的控制层（编排层）应当遵循贝叶斯决策理论，而非让 LLM 本身成为贝叶斯推断引擎。 通过在编排层维护低维决策相关潜变量信念状态，系统可以在不确定性下做出理性决策——选择调用哪个工具、咨询哪位专家、投入多少资源、以及何时停止。

---

二、核心论证

2.1 问题定位：Agentic AI 系统的核心瓶颈

Agentic AI 系统从「序列预测」转向「Agentic 行为」，评估目标从「生成合理响应」变为「在不确定性下做出有效决策」。关键问题包括：

2.2 为什么不在 LLM 内部做贝叶斯

论文系统论证了在 LLM 内部实现贝叶斯的四大障碍：

2.2.1 障碍一：Token 级概率 ≠ 任务级语义不确定性

LLM 输出的 Token 级预测分布与决策所需的语义级不确定性存在根本性错位：

• Token 分布尖锐 ≠ 任务级答案确定：模型可能对 Token 序列很有把握，但对「答案是否正确」仍不确定
• Token 分布弥散 ≠ 任务级答案不确定：预测概率分散不等于对最终答案没有信心

这被称为「句法不确定性 vs 语义不确定性」问题（Kuhn et al., 2023）。

2.2.2 障碍二：预训练 LLM 违反可交换性和鞅约束

Falck et al. (2024) 的诊断表明，预训练 LLM 的上下文预测违反了贝叶斯后验预测过程所隐含的可交换性和鞅条件：

• 位置编码破坏交换性假设
• 预测不满足贝叶斯更新的一贯性要求

虽然通过特定提示可以部分缓解，但无法根本解决问题。

2.2.3 障碍三：近似推断破坏序贯更新

即使使用贝叶斯神经网络（BNN），常用的近似推断方法（变分推断、MCMC 等）也可能：

• 遗忘早期数据
• 无法保持条件独立性
• 违反贝叶斯序贯更新属性

2.2.4 障碍四：参数空间贝叶斯计算代价极高

• 高度过参数化的神经网络做参数后验推断在计算上不可行
• 参数后验对大型模型的信息量递减（cold posterior effect）
• 参数空间的多样性可能只是对称性而非真实不确定性

2.3 为什么在控制层做贝叶斯

论文提出将贝叶斯结构置于 控制层（Control Layer），而非 LLM 内部：

┌─────────────────────────────────────────────────────────┐

│                    Agentic AI 系统                       │
│  ┌─────────────┐    ┌─────────────┐    ┌─────────────┐  │
│  │   LLM 1     │    │   LLM 2     │    │   Tools     │  │
│  │ (黑盒预测)  │    │ (黑盒预测)  │    │ (工具调用)  │  │
│  └──────┬──────┘    └──────┬──────┘    └──────┬──────┘  │
│         │                  │                  │          │
│         └──────────────────┼──────────────────┘          │
│                            ▼                              │
│                   ┌────────────────┐                      │
│                   │   控制层       │                      │
│                   │ ┌───────────┐  │                      │
│                   │ │ 信念状态   │  │                      │
│                   │ │ (低维潜变量)│  │                      │
│                   │ └───────────┘  │                      │
│                   │ ┌───────────┐  │                      │
│                   │ │ 观察模型  │  │                      │
│                   │ └───────────┘  │                      │
│                   │ ┌───────────┐  │                      │
│                   │ │ 效用函数  │  │                      │
│                   │ └───────────┘  │                      │
│                   └────────┬───────┘                      │
│                            ▼                              │
│                   ┌────────────────┐                      │
│                   │  行动选择      │                      │
│                   │ (期望效用最大化) │                     │
│                   └────────────────┘                      │
└─────────────────────────────────────────────────────────┘

2.3.1 核心机制

1. 维护信念状态：对任务相关的低维潜变量维持后验分布

2. 观察模型：将 LLM 输出映射为任务级证据

3. 行动选择：最大化后验期望效用，或按信息价值决策

---

三、七个设计属性

论文提出了使贝叶斯控制与现代软件栈、Agentic AI 系统和 Human-AI 协作兼容的七个设计属性：

---

四、具体例子与设计模式

4.1 多Agent代码生成与测试

场景：多个 Agent 协作完成代码生成任务

用户请求 → 规划器 Agent → 代码生成 Agent → 测试 Agent

↑                              ↓
└────────── 反馈循环 ──────────┘

贝叶斯建模：

• 潜变量 $Y$：代码测试是否通过（二元）
• 观察模型：测试 Agent 的输出 $\to$ $P(Y=1|\text{output})$
• 信念更新：基于测试结果更新「代码正确性」的后验信念
• 行动选择：当 $P(\text{代码正确}) < \tau$ 时，继续迭代；否则接受

决策规则：

$$\text{继续调用} \iff \mathbb{E}[\text{收益}] > \text{成本}$$

4.2 多Agent讨论

场景：多个 Agent 对某个假设 $H$ 进行讨论，迭代更新集体判断

Agent A 提出论点 → 观察模型评估 → 更新信念 P(H)

Agent B 反驳     → 观察模型评估 → 更新信念 P(H)
Agent C 综合     → 观察模型评估 → 更新信念 P(H)
...

贝叶斯建模：

• 潜变量 $H$：假设为真的概率
• 观察模型：各 Agent 的论点 $\to$ 似然信息
• 信念更新：序贯贝叶斯更新，汇聚多方观点
• 停止规则：当 $P(H)$ 稳定或信息价值低于询问成本时停止

关键优势：量化每个 Agent 贡献的证据价值，而非简单投票

4.3 贝叶斯路由

场景：将请求路由到最适合的工具/Agent/专家

贝叶斯建模：

• 潜变量：各 Agent/工具的可靠性 $R_i$、当前任务的适配度 $A_i$
• 信念状态：$P(R_i, A_i | \text{历史交互})$
• 行动选择：选择期望效用最高的路由

$$\text{route}^ = \arg\max_i \mathbb{E}[U(\text{结果}) | \text{route}=i]$$

BibTeX 引用*：

@article{papamarkou2026agentic,

title={Position: Agentic AI Orchestration Should Be Bayes-consistent},
author={Papamarkou, Theodore and Alquier, Pierre and Bauer, Matthias and others},
journal={arXiv preprint arXiv:2605.00742},
year={2026},
note={Accepted at ICML 2026}
}