UE4 基线与重跑噪声

基线为什么是实验的原点

三档对比里，UE4 基线（baseline）回答”模型在它被训练的渲染域里到底什么水平”。没有这个原点，UE5 侧的任何分数都无法解释——56.35 是高是低，完全取决于和 49.59 的差。

SimLingo 的 UE4 基线 DS = 49.59（10 条对齐路线，Bench2Drive 评分口径）。官方论文在 220 条全量上是 85.07±0.95，本项目数值低很多，原因是对齐路线集短、路口密集、且含模型已知的薄弱场景（如 (72,24) 路口偏航 7m 卡死属于模型真实弱点）——所以只有同一路线集内部的跨引擎对比才有意义，绝对分数不可跨口径引用。

重跑噪声 12.91 意味着什么

同一模型、同一路线集、同一评分链，重跑一次，分数可以再差 12.91。来源不是评分器抖动，而是闭环行为本身的混沌：个别路线在”卡死”与”完成”之间随机翻转，一次卡死（罚分终止）和一次完成的 DS 差可达 40–60 分。

这给出一条硬约束：任何 UE4→UE5 的分数变化，必须先和重跑噪声比大小。变化小于噪声时，统计上无法区分”真提升”和”运气”。这正是后续引入 MDE（最小可检测效应）概念的动机。

闭环噪声从哪来

开环（给定输入回放日志）下模型是确定函数；闭环里模型的每个动作改变世界状态，世界再反馈回模型——背景交通的相位、物理引擎的浮点细节、TM 的行为树决策都会被前期微小差异放大。闭环评测的噪声因此是结构性的，只能用重复测量刻画，不能消除。

MDE：最小可检测效应

概念

MDE（Minimum Detectable Effect，最小可检测效应）回答的问题是：给定样本量和噪声水平，这个实验最小能可靠分辨多大的效应？ 它是把统计功效（statistical power）换算回效应量单位的门槛。

对 $n$ 条配对路线的均值差检验，经典口径下：

$$\text{MDE} \approx \left( z_{1-\alpha/2} + z_{1-\beta} \right) \cdot \frac{\sigma_d}{\sqrt{n}}$$

• $\alpha$：显著性水平（常取 0.05，$z_{0.975} \approx 1.96$）；
• $1-\beta$：检验功效（常取 0.8，$z_{0.8} \approx 0.84$）；
• $\sigma_d$：逐路线分数差的标准差；
• $n$：路线数（本项目为 10）。

代入本实验的数字

SimLingo：实测变化 $\Delta = +6.76$，而 MDE = 20.63——实验只能可靠分辨 20 分以上的变化，6.76 远在门槛之下。结论的正确表述是”未观察到显著变化”，而不是”提升了”也不是”证明没影响”。

MDE 这么大有两个来源：

1. $n$ 小：10 条路线，分母 $\sqrt{10} \approx 3.16$；
2. $\sigma_d$ 大：闭环噪声非高斯，少数路线的”卡死↔完成”翻转一次就贡献 40–60 分的摆动，把标准差抬高。

对照 AutoMoT：噪声极小（重跑零差异），MDE 只有 1.89，实测变化 +32.90 远超门槛，统计显著。同一张实验台，检验力相差一个数量级——MDE 由模型自身的行为稳定性决定。

方法论教训

• 报告”均值涨了多少”而不报告 MDE，是闭环评测最常见的夸大方式；
• 提升检验力的正路是加路线/加重跑次数（降 $\sigma_d/\sqrt{n}$），而不是事后挑显著性；
• “不显著”本身是可交付的结论：它排除了”高保真渲染明显伤害模型”这个担忧，在 MDE 精度内成立。

参考

• 检验功效（维基百科）

AutoMoT UE5 zero-shot 满分：怎么读这组数字

数字本身

项	值
UE4 基线	67.10（噪声 1.90）
UE5 zero-shot	100.00（40 条评测全部完成，零碰撞、零违章、零超时）
变化 $\Delta$	+32.90，MDE 1.89，显著
UE5 侧重跑	逐路线零差异，完全确定

UE4 侧的两类丢分模式——超时（timeout）与偏航（yaw 偏离出界）——在 UE5 侧全部消失。这是全项目效应量最大、同时最干净的一组结果：不是因为路线变简单（同一批路线），而是因为失败模式没有复现。

强模型为什么反而受益

一个合理机制：5.6B 双专家模型见过更大规模的视觉预训练分布，UE5 更真实的光影更接近它预训练时的真实照片统计，特征激活更”在域内”；而 1B 纯视觉的 SimLingo 更依赖 UE4 微调时记住的特定画面风格。这与”帮助/伤害/无差别”三假设里”预训练分布更近”的解释一致，但注意这只是机制猜测，实验本身只确认了现象。

引用时必须带的两个限定

1. LiDAR 稀释：AutoMoT 动作分支含 LiDAR BEV 特征，点云不受渲染风格影响。满分可能部分由几何通路”兜底”，不能干净归因于视觉通路对高保真的适应——渲染结论须打折。
2. 复合差异：UE4→UE5 同时换了渲染、物理（PhysX→Chaos）与地图资产。偏航类失败消失可能和物理/地图变化有关，不能全算在渲染头上。

零噪声的意义

UE5 侧 40 条重跑逐路线零差异，说明这条自建评测链（路线执行 + 评分 + socket 通信）本身高度可复现。这使 AutoMoT 成为整条链的 sanity anchor：后续任何环节改动，先跑 AutoMoT 对照，结果变了就是链坏了而不是模型变了。

闭环噪声不是高斯的

实测噪声的结构

把 SimLingo 的重跑差异拆到逐路线，会看到高度非高斯的结构：

• 10 条路线里 8 条重跑差异很小（$|\Delta| \le 10.7$ 分）；
• 其余 2 条出现”卡死 ↔ 完成”的二元翻转：路线 10000 一次 +64.7，路线 10011 一次 -44.3。

均值噪声 12.91 几乎全部由这两条路线贡献。画成分布不是钟形曲线，而是”大量近零 + 两个远端尖峰”的混合分布。

对照 AutoMoT 是另一个极端：UE5 侧重跑逐路线零差异，完全确定。两个模型在同一实验台上给出两种噪声形态——这本身是发现：模型能力与行为稳定性正相关。弱模型的决策在临界场景（路口拥堵、对向车流间隙）处于”走/停”的决策边界上，前期微小扰动就能把行为推过阈值；强模型决策裕度大，行为可复现。

为什么这对结论评估很关键

如果噪声真是高斯的，$n=10$ 的均值检验还能用 $t$ 分布近似；二元翻转噪声下：

1. 均值被少数路线绑架——均值差 +6.76 可能就是一条路线翻转与否的差别；
2. 标准差估计不稳定——再多跑几次，翻转的路线可能换一批，$\sigma_d$ 本身波动大；
3. 必须逐路线配对分析——看每条路线在 UE4/UE5/重跑下的行为轨迹（卡死点、完成度），而不是只比均值。

这也直接约束了微调档的评估方式：微调有没有用，要看卡死路线的翻转率是否改善，均值差在 MDE 之内时说明不了问题。

混沌的来源

闭环系统是反馈回路：模型动作 → 世界状态 → 新的模型输入。临界场景下，初始条件（背景车相位、物理浮点、TM 行为种子）的微小差异被回路放大，最终落在不同的吸引子上——“卡死”和”通过”就是两个吸引子。这类噪声只能靠重复测量 + 逐路线配对刻画，无法用单次评测消除。

为什么 KID-vs-ΔDS 相关性分析失败了

原计划的故事线

设计里有一条漂亮的归因链：KID 量化了每条路线的域差距，DS 变化量化了模型受的影响——如果两者相关（KID 大的路线掉分多），就能把”掉分”归因给渲染差异，而不只是”观察到同期发生”。

实测结果

对路线级 KID 与逐路线 DS 变化做 Spearman 秩相关（Spearman’s rank correlation，对单调但非线性的关系稳健、对异常值不敏感）：

模型	Spearman $\rho$	p 值	判定
SimLingo	-0.382	0.28	不显著
AutoMoT	-0.044	0.90	不显著

两个系数都为负（方向甚至和”域差距越大掉分越多”的预期一致），但 p 值远大于 0.05，$n=10$ 条路线下无法拒绝”无相关”的原假设。

根因：没有掉分可归因

更根本的问题是：归因分析需要被归因的对象存在。相关性分析的前提是 $\Delta$DS 有真实的、跨路线变化的信号；而实测 zero-shot 无人掉分（SimLingo +6.76 不显著，AutoMoT +32.90 是整体抬升而非按路线恶化），$\Delta$DS 里大部分是噪声，噪声与 KID 自然不相关。归因链断在第一环——“KID 大 → 掉分多”需要伤害才有故事，这里没有伤害。

诚实的结论口径

• 能说：渲染域差距客观存在（KID 0.0743 vs 域内 0.0001）；在这个对齐路线集上，zero-shot 未观察到掉分，强模型显著受益；
• 不能说：渲染差异对驾驶性能无影响（普适因果）；也不能说 KID 与性能无关（检验力不足以证伪）。

最终口径定为受控条件下的存在性案例证据——这是负结果场景下学术表述的标准做法：报告检验力边界，不外推。

参考

• Spearman 秩相关系数（维基百科）

UE5 微调档：数据管线与 LoRA

LoRA 微调原理

LoRA（Low-Rank Adaptation，低秩适配）冻结预训练权重 $W_0 \in \mathbb{R}^{d \times k}$，把增量约束为两个低秩矩阵的乘积：

$$W = W_0 + \Delta W = W_0 + \frac{\alpha}{r} B A, \quad B \in \mathbb{R}^{d \times r},\ A \in \mathbb{R}^{r \times k},\ r \ll \min(d, k)$$

$r$ 是秩（常取 8–64），$\alpha$ 是缩放系数。可训练参数从 $d \times k$ 降到 $r(d + k)$。SimLingo 上实测 LoRA 可训练参数 17,596,416（官方口径占 2.72%），训练步显存峰值约 19.6 GiB——这就是 5090 32GB 能微调 1B VLM 的原因。推理时 LoRA 分支可以 merge 回原权重（merge_and_unload），零额外延迟。

自采数据管线

环节	规模/做法
采集	UE5 侧 TM autopilot 专家，549,852 帧 / 3,511 路线 / 110GB
净化	碰撞传感器真值打分 + 官方 filter → 834 条干净路线（专家碰撞污染是主要剔除原因）
训练集	751 train + 83 val，106,244 样本
格式	转 SimLingo 官方数据集格式（纯驾驶 bucket）

关键工程约束是格式逐位对齐：模型在评测时吃的是官方管线的字段（target point、图像裁剪、坐标系），训练数据若有任何字段语义不同，LoRA 会把模型掰向错误分布。这个约束后来正是失败的核心，见”排除法与负结果的价值”一篇。

三个版本

• v1：原始数据直训（数据 1/3 + 单 epoch + 关增广的快速档）；
• v2：发现 target_point 语义错配后，用官方 RoutePlanner 同源重算 55 万帧目标点重训；
• v4：全量数据 + 图像裁剪对齐（官方训练裁底部 25%，评测链裁约 30%，v1/v2 裁 0%）。

三版结果一致：训练侧正常、闭环侧行为崩溃——见下一篇的悖论剖析。

loss 收敛 ≠ 行为正确

症状

SimLingo UE5 微调三个版本（v1/v2/v4）症状完全一致：

• 训练侧一切正常：loss 平稳收敛到 0.0149，验证集 0.00019，曲线挑不出毛病；
• 闭环侧完全崩溃：16/16 路线超时，路线完成率 0%；逐 tick 记录显示起步正常（0.5→3.3 m/s），随后油门 1.0 + 转向 -1.0 持续饱和输出——t=100 与 t=500 的控制完全相同，模型对画面变化失去响应。

为什么 loss 好反而崩得彻底

行为克隆的 loss 只度量一件事：模型在训练分布的输入上复现专家动作的能力。它不度量、也无法度量两件事：

1. 训练分布本身对不对——如果某个输入字段（target point、图像裁剪）的语义和评测时喂给模型的不一致，loss 越小说明模型把”错误分布 → 专家动作”的映射学得越忠实，推理时收到正确分布的输入反而落在训练分布之外；
2. 闭环稳定性——loss 是开环指标（给定历史真值预测下一步），闭环里模型的输出会改变自己的输入分布，开环学得好不代表闭环不发散。

所以”loss 收敛但行为崩溃”不是悖论，而是分布错配场景下的必然：分布错得越系统，拟合得越好，崩得越干净。

饱和输出作为诊断指纹

满油门 + 死舵且长时间不变，是权重级行为崩溃的稳定签名——模型仍在跑、链路仍通，但输出层被推到饱和区不再随输入变化。它区别于”链路假成功”（输出太平滑像 autopilot）和”模型不想走”（油门为零）。同族案例是 AutoMoT 的 BEV 层随机初始化事故：throttle≈1 且 speed≈0 主导，即”想走但看不见障碍”。诊断时先按（throttle, speed）逐帧分类，可以快速区分权重损坏与链路损坏。

八嫌疑排除法与 target_point 根因

排除清单（每项有实证）

微调崩溃后，按嫌疑逐项排查，七项被实证排除：

#	嫌疑	判定	关键证据
1	权重导出剥前缀错	排除	992 keys 与官方完全同构，strict 加载零多缺
2	数据教坏（专家常停车）	排除	训练集速度中位 3.74 m/s，<0.5 m/s 仅占 9%
3	target_point 语义错配	实锤（但非唯一）	check 模式 86–96% 帧目标点差异 >0.3 m
4	评测链坏	排除	官方 zero-shot 权重同链对照正常完赛——最有决定性的一步
5	权重导出方式	排除	手动导出 vs 官方 zero_to_fp32，抽样 200 keys 相对差 2e-4（精度噪声级）
6	LoRA 没挂上	排除	训练日志可训练参数 17,596,416，与官方口径一致
7	训练图像不裁底	嫌疑（v4 已修）	评测链裁底部约 30%，v1/v2 训练裁 0%
8	子集多样性过低	嫌疑（v4 已修）	快速档 250 条 = 10 条几何路线循环

v2 修复第 3 项、v4 修复第 7/8 项后仍崩，可验证假设穷尽，剩余嫌疑指向帧同步、坐标系这类更隐性的生成约定。最终口径是”未完成验证”而非”微调无效”。

target_point 错配的机制

target_point 是给模型的导航条件输入（前方路线上要去的点）。两套算法语义不同：

• 官方 RoutePlanner：run_step 每次贪心 pop 距本车 ≤7.5 m 的路线点，target 取剩余路线的第 1 个点（约 7.5–10 m 外）；pop 状态跨帧顺序演进，有记忆；
• 自写采集算法：无状态，每帧独立计算前方 7.5/15 m 截距点。

后果：目标点系统性偏移 3–5 m，转弯处几何发散；LoRA（小数据短训练）恰好足以把模型掰向自写算法的分布，又不足以对两种分布都鲁棒。教训的一般形式：训练数据的每个字段必须与评测链逐位同源——字段级对齐清单（target point / 裁剪 / 坐标系 / 帧同步）要逐一核对，“看起来合理”的自实现都是嫌疑。

排除法本身的方法论

• 对照实验是最强隔离工具：官方权重同链对照（第 4 项）一步排除整条评测链，早做能省半天；
• 每个”排除”都要有实证而不是推理——导出 keys 逐位比对、速度分布统计、check 模式逐帧 diff，全部可复算；
• 负结果的价值在于留痕：完整的嫌疑清单 + 证据链，使”微调失败”从一团迷雾变成一份可继续攻克的工单。

参考

• SimLingo 官方仓库（RoutePlanner 与数据格式出处）

四个坑的根因与解法

坑一：winNAT 吞端口（三次迁移）

Windows NAT/容器栈成段保留 TCP 端口，CARLA server bind 落在保留段上抛 WSAEACCES，异常未捕获直接崩（0xe06d7363）。保留段大重启后动态漂移，迁好的端口会被再次吞掉。

netsh int ipv4 show excludedportrange tcp   # 启动失败先查这个，再查显卡

crash XML 里的 AdapterName 字段会误导成显卡问题——实际与 adapter 无关。最终端口迁到保留段间隙才稳定。

坑二：ckpt 跨代际键改名（静默坏权重）

AutoMoT 发布权重与当代代码键名不一致：BEV 投影层在 ckpt 里叫 transfuser_proj.*，代码查表叫 bev_encoder_proj.*，shape 完全一致。流式加载器按名匹配不上 → 该层静默随机初始化 → 64 个 BEV token 全是垃圾 → 车满油门顶死障碍物（18 路线 mean DS 27.5 vs 官方 87.34）。加载器只打印 missing/unexpected，不报错。

通用防御：任何 ckpt 装载后把 missing/unexpected keys 当硬错误检查，零多零缺才放行；修复用显式的前缀重映射表，且”从文件读 key”与”向模型查 key”必须分离，混用会触发 SafetensorError。

坑三：饱和输出只警告不报错

车满油门顶在障碍物上不动，整条评测链没有任何异常——loader 和 executor 都只当”模型在开车”。这是闭环基建的普遍盲区：崩溃有报错，行为错误没有。对策是行为级监控：逐帧（throttle, speed）统计，throttle≈1 且 speed≈0 持续即判异常；blocked 检测（速度持续 <0.5 m/s 罚分终止）兜底。

坑四：socket 评测链 12 轮修坑

模型进程与 UE5 仿真进程 socket 分离架构，12 轮迭代的代表：

• 伪成功陷阱：“跑通了”不等于”模型在跑”——曾被 autopilot 假成功骗过一轮。真伪验证用墙钟/仿真时间比：autopilot <1×，SimLingo ~10×，AutoMoT 1.4–5.8×；
• 隐式约定伪造：leaderboard 系 agent 依赖 evaluator 的大量隐式约定（构造参数、路径拼接分支、save_path 格式），脱离 evaluator 复用必须逐层伪造；
• C++ 层异常 Python 拦不住：carla 客户端退出的 C++ abort 会杀掉宿主进程——嫌疑调用必须隔离在子进程里，逐路线起子进程。

所有坑的共性教训：报错 + 解法完整留档是资产——失败记录本身就是可复用的工程知识。