垃圾进，垃圾出：模仿学习的数据毒性

行为克隆学什么

SimLingo 的训练范式是行为克隆（behavior cloning，模仿学习的一种）：把专家演示整理成 (观测, 动作) 对，用监督学习拟合映射 $\pi_\theta(o) \to a$。训练损失

$\mathcal{L} = \sum_t \ell\big(\pi_\theta(o_t),\, a_t^{expert}\big)$

衡量的是模型输出与专家标签的差距——这是理解毒性的关键：损失函数里根本没有”开得好不好”这个量，只有”像不像专家”。

为什么训练 loss 完全静默

专家常撞墙，标签里就包含”看见墙也不减速”的动作示范。模型把这些示范学得越好，loss 越低。坏数据和好数据在 loss 曲线上不可区分——拟合坏分布同样收敛、同样平滑。这就是”垃圾进，垃圾出”（garbage in, garbage out）在模仿学习里的精确含义：毒性不表现在训练指标上，只在闭环评测暴露（CARLA 闭环里碰撞直接扣驾驶分 DS）。

本项目后续微调失败攻坚中反复验证过这一点：loss 收敛到 0.0149 / val 0.00019 的同时，评测 16/16 路线超时——“训练正常”与”行为正确”是两回事（M4 复盘方法论沉淀）。

分布偏移让毒性放大

行为克隆还有协变量偏移（covariate shift）问题：模型按自己的动作行驶，遇到的状态分布会偏离专家数据分布，偏出去后学来的坏动作没有纠偏能力。脏数据把坏动作写进权重，协变量偏移负责把模型推到这些坏动作恰好生效的境地里。DAgger 等迭代式算法就是为缓解后者而生，但对前者（专家本身就坏）无解——只能在数据侧净化。

质检要回答的三个问题

对应到本项目的流水线设计：

1. 帧完整吗——文件级对账（jpg/json.gz 逐帧配对、字段覆盖）；
2. 开得好吗——路线级真值打分（碰撞 + 完成度）；
3. 过滤后还剩多少——官方 filter 裁决后的净量与分布健康度。

三问都过，数据才允许进训练。

参考

• Imitation learning（维基百科）
• DAgger: A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning（arXiv:1011.0686）

冒烟先行：小成本试错与 spawn 朝向转置 bug

节奏：T4.1 冒烟 → T4.2 放飞

正式采数前先跑 200 帧冒烟（单路线，data/ue5_r1_smoke/route_10000_0，EXP-T4.1 交付记录）。冒烟一次通过，但当场揪出两个隐藏问题：

1. 专家均速仅 ~1.2 m/s（目标 5 m/s）：纵向油门 PID 太保守，数据速度分布会偏离官方（官方 autopilot ~4–7 m/s）；
2. spawn 朝向公式有转置 bug——这才是慢速的根因。

若直接放飞 55 万帧才发现，全部数据作废重采。冒烟的全部价值就在这：用 200 帧的成本，替 55 万帧挡雷。

转置 bug 的代数解剖

正确公式（朝向第二点）：

$\psi^* = \operatorname{atan2}(d_y,\; d_x)$

buggy 版本写成了 $\psi_{bug} = \operatorname{atan2}(d_x, d_y) - 90°$。注意恒等式

$\operatorname{atan2}(d_x, d_y) = \frac{\pi}{2} - \operatorname{atan2}(d_y, d_x)$

（对任意非零向量成立，mod $2\pi$）。代入得：

$\psi_{bug} = -\psi^*$

转置加 -90° 补偿恰好等于正确朝向的镜像——车出生时就朝向路线方向的镜面反射方位。后果不是原地报错，而是起步后 PurePursuit 持续大角度纠偏：车一直在”追线”，均速被拖垮。这个 bug 从 M3 采图起波及 t31/t41/t42 三个脚本，因为症状（慢）被容忍为”控制器保守”，横跨两个里程碑才在 T4.1 冒烟里被归因（M4 复盘时间线 09-03）。

教训的两半

• 几何公式要用向量定义验证，“跑通了”不等于”对了”——镜像朝向下仿真照常 tick、数据照常落盘，没有任何报错信号；
• 慢速这个症状其实是两次独立原因叠加：转置 bug（根因）+ 保守油门增益（表因）。T4.2 的修复也相应是两件事：修公式 + 提速调参（kp 1.0→1.5、前瞻 5→8 m），之后才敢放飞。

CARLA 碰撞传感器：行车记录仪式真值采集

挂载与监听

col_bp = bpl.find("sensor.other.collision")
col = world.spawn_actor(col_bp, carla.Transform(), attach_to=hero)
collisions = []
col.listen(lambda e: collisions.append(
    {"impulse": e.normal_impulse.length(),                        # 冲击力度
     "other": str(e.other_actor.type_id) if e.other_actor else "static"}))  # 撞了谁

（tools/t42_collect_full.py 第 126–131 行。）

两个字段的语义

• impulse：碰撞瞬间的法向冲量（normal impulse）模长，单位 N·s。冲量 $J = \int F\,dt$，把接触力在碰撞时长上积分，综合反映”撞得多狠”。实测量级：轻轻蹭一下几十，实撞上去以千计——量纲上的巨大分离让阈值分类非常可靠。
• other：other_actor.type_id 区分撞的是背景车（vehicle.*）还是静态物（建筑/栅栏/标志/植被）。撞不上任何 actor 时记 "static"。这个字段后来成为根因诊断的直接证据：碰撞对象分布里静态物占绝对多数，指认了”避障只管动态车”的设计缺陷。

设计要点：采集时同步记，离线零成本打分

整条路线的碰撞事件攒在一个列表里，路线收官时一次性算出真值分数写进 results.json.gz。这意味着质检不需要重跑仿真——所有判罚证据在采集当刻已落盘。“采集时同步记碰撞”也因此被写进 M4 坑账，作为自建专家的三条可复用设计之首。

容易看错的点

• 传感器每 tick 静默监听，对驾驶行为零干预——它是观察者不是控制器。教练车的避障逻辑完全不读它（避障走背景车位置查询，见 ep19p1 B19 深读），感知与记录两条线独立。
• 碰撞事件是边沿触发的：一次持续接触只报一次事件，但剐蹭过程中车身反复弹跳接触会产生多个事件，所以打分用”是否有 impulse > 200 的重碰撞”这种存在性判据，而不是事件计数。
• 与 spawn 时序的配合：起步怠速缓冲（前 2 s 不动）就是为防止 spawn 瞬间的穿模蹭碰被这个”诚实的耳朵”记成污染（ep19p1 B19 深读）。

参考

• CARLA 碰撞传感器文档

采集中断自愈与 pgrep 自匹配陷阱

事故链与自愈链

T4.2 放飞中途，一次 actor destroy 触发 C++ abort，整个采集进程直接退出（M4 复盘时间线 09-03~04）。三层保障在此兑现（设计见 ep19p1 B18 深读）：

1. 守护发现进程消失 → 自动拉起 server 与采集；
2. 断点续采以路线目录为原子单位，已有帧的路线整条跳过，从断点接着跑。

进程级崩溃在数天级任务里是必然事件，区别只在于恢复是自动还是人肉。

pgrep 自匹配：守护差点自杀

排查中断原因时踩了连环坑里最经典的一个：pgrep -f 的模式会匹配到发起命令的 shell 自身。机制：

• pgrep -f <pattern> 扫描所有进程的完整命令行做子串匹配；
• 当你在守护/清理脚本里写 pkill -f t42_collect_full，执行这条命令的复合 shell（比如 bash -c "... pkill -f t42_collect_full ..."）的命令行里也含有同样的字符串——于是模式命中发起者自己；
• 后果：守护脚本把自己杀掉（“差点自杀”），或者连环杀错进程。

同一族坑在 T1.2 评测期还出现过变体：pgrep -f leaderboard_evaluator 同时匹配 conda run 包装进程，head -1 只杀了包装、真进程漏杀，tee 管道不关导致 harness 卡死——必须杀全部匹配，且先排除自身（AGENTS.md T1.2/T3.0 坑账）。

沉淀下来的永久规矩

• kill 相关命令禁止内联 pgrep 模式；
• 先 pgrep -af 人工确认清单，或按精确 PID（PID 文件）杀；
• 杀评测链按层次：外层 run bash → conda run 包装 → 真 evaluator，漏杀外层 bash 会无限重启。

这条规矩在 M4 一个里程碑内就再踩 3 次（累计 5+）才被钉死——它属于”知道原理也会再犯”的坑，只能靠流程禁令而非自觉。

路线级真值打分：RC × 碰撞折扣

代码

driven = float(np.sum(dists)) if dists else 0.0   # 逐帧位移累加的实际里程
rl = sum(math.hypot(route_xy[i+1][0]-route_xy[i][0],
                    route_xy[i+1][1]-route_xy[i][1])
         for i in range(len(route_xy)-1))          # 路线设计总长
rc_pct = min(100.0, 100.0 * driven / max(rl, 1e-6))
big_cols = [c for c in collisions if c["impulse"] > 200.0]   # 重碰撞筛选
score = rc_pct * (0.60 if big_cols else 1.0)                 # 重碰撞打六折

（tools/t42_collect_full.py 第 232–245 行，路线收官时执行。）

完成度 RC（Route Completion）

$\text{RC} = \min\!\left(100,\; 100 \times \frac{\sum_t \|\mathbf{p}_{t+1} - \mathbf{p}_t\|}{L_{route}}\right)$

分子是逐帧位移累加的实际行驶里程，分母是路线折线总长。两个设计决定值得注意：

• 用里程不用路点索引：控制器单调推进的 idx 看着像进度，但车可以”推进了索引却没好好走线”。里程对绕路、倒车、画龙都如实反映——凡是车轮滚过的路都计入分子；
• 上限钳制 100：绕路会让里程超过路线长度，不钳制的话”多跑路”反而刷高分，异常值污染分布。

这与 CARLA 官方 leaderboard 的 route completion 定义同口径，评测体系里 RC 同时是驾驶分 DS 的乘性因子（$\text{DS} = \text{RC} \times \prod_i (\text{penalty}_i)$）。

合成分数：记录而非裁决

$\text{score\_composed} = \text{RC} \times \begin{cases} 0.6 & \text{存在 impulse} > 200 \text{ 的重碰撞} \\ 1.0 & \text{否则} \end{cases}$

• 阈值 200 的依据：轻蹭冲量几十、实撞以千计，中间有量级鸿沟（碰撞传感器细节见 B06 深读）；
• 打六折而不是清零：有重碰撞的满分路线得 60 分，如实保留”走完了但不干净”的信息。是否剔除的死刑判决权交给下游官方 filter（score < 100 整条剔除，见 B16 深读）——打分只负责记录，不做裁决，职责分离让每一步都有账可查。

分数落盘为 results.json.gz，字段名（scores.score_composed / score_route）与官方数据结构完全同构，filter 零改动直读。

容易看错的点

• 碰撞列表每条路线独立清零（listen 闭包绑在当次循环的 collisions 上），跨路线污染不会发生；
• dists 从第二个 tick 才开始累加（last_xy 初始化），spawn 瞬间的坐标跳变不会计入里程。

根因一：感知名单里只有背景车

系统结构上的缺口

教练车的安全机制只有一层：前向避障扇区（实现见 ep19p1 B19 深读）。而它的遍历对象是 bg.actors——TrafficManager 背景车列表，仅此而已：

for bv in bg.actors:          # 墙、栅栏、灯杆不在这个列表里
    ...
    if 2.0 < fwd < 7.0 and lat < 2.5:
        tgt_spd = min(tgt_spd, max(0.0, fwd - 4.0))

墙、栅栏、标志杆、植被这些静态物在 CARLA 里同样是 actor（或有碰撞体的环境网格），但采集脚本从未把它们放进感知范围。与此同时 PurePursuit 的全部职责是贴线——它不知道线的旁边有没有墙。“贴线”与”撞墙”之间，系统里没有第三道仲裁。

分布证据链

碰撞对象的 other 字段分布直接指认了根因（碰撞传感器两个字段见 B06 深读）：建筑、栅栏、标志、植被都有，静态物占绝对多数，背景车反而很少。这个分布本身就是诊断：

• 背景车少 → 扇形避障在它设计范围内有效（动态让行确实兜住了）；
• 静态物多 → 缺口不在避障逻辑的好坏，而在感知名单的覆盖范围——名单外的世界等于不存在。

这是一类什么错误

不是实现 bug，是需求建模时的覆盖缺口：设计避障时脑子里的事故模型是”追尾前车”，于是只实现了动态让行；真实世界里教练车的主要威胁是”贴线过弯刮到路边静态物”。测试对象错位的典型形态——逻辑通过了它设计范围内的全部场景，缺陷全部落在范围之外。

修复方向明确（扇区扩到静态物、紧凑路口动态缩前瞻），但都属于教练车质量优化，不阻塞数据净化主线：脏路线由 filter 剔除即可（B16 深读），改进补采随时可增量追加。

容易看错的点

• 不要混淆”避障失效”与”避障缺席”：对静态物，代码里根本不存在一次失败的避障尝试——没有任何代码看过它们一眼。定位根因时这两者的修复成本完全不同。
• 碰撞传感器忠实地把静态物碰撞记了下来，这恰恰是”观察线与控制线分离”设计的回报：感知缺口由记录层兜底暴露。

根因二：前瞻距离放宽的切内弯几何

几何机制

纯追踪的控制律是”画一条过前瞻点的圆弧”（推导见 ep19p1 B04 深读）。前瞻距离 $L_d$ 越大，前瞻点落得越远。在紧凑路口：

        弯心 apex
       ×
      /  ← 路线实际转弯处
     /
────┘      L_d 小: 前瞻点落在弯前, 弧线贴线
            L_d 大: 前瞻点已越过弯心 →→→ 弧线内切

$L_d = 8$ m 在 Town10 的紧凑路口意味着什么：车还没进弯，前瞻点已经落到弯道出口的直线段上。控制器照章办事——画一条到那个点的平滑弧——这条弧必然抄近道切过弯心内侧。内侧有什么，就刮什么：墙角、栅栏、路缘。

这是个被接受的权衡，不是失误

放宽前瞻距离的动机是真实的（ep19p1 B07 深读）：t42 提速后 $L_d = 5$ m 增益过高会抖，放宽到 8 m 换高速下的转向平滑。曲率律 $\kappa = 2\sin\alpha / L_d$ 里 $L_d$ 就是增益的倒数，平滑与贴线不可兼得。

但这个权衡有一条隐含的适用边界：路口曲率半径远大于前瞻距离时，内切量可忽略；Town10 的路口不满足。于是同一个参数在直道上是优化、在弯角上是事故——速度提上去了，碰撞跟着上来了。73% 路线带重碰撞的质检结果里，这一根因与”避障不感知静态物”（B13 深读）是乘法关系：几何制造了刮蹭机会，感知缺口保证没有最后一道防线。

参数化地看改进方向

• 速度自适应前瞻：$L_d \propto v$（低速缩到 3–4 m），业界纯追踪的标准做法，本项目教练车为求简单用了固定值；
• 曲率自适应前瞻：检测前方路线曲率，紧凑路口临时缩短——改进清单上的方案（“紧凑路口动态缩短前瞻距离”）；
• 两者都指向同一件事：固定 $L_d$ 是”全程一种驾驶风格”的近似，而弯道和直道需要的增益本来不同。

容易看错的点

• 切内弯不会在控制器指标上留下任何异常：转向平滑、速度稳定、路线”走完”（RC 满分）。它只以碰撞冲量的形式出现——这也是为什么必须有独立的真值打分（B09 深读），控制器自检发现不了自己几何上的近视。

官方 filter：复用既有语义做裁决

机制

SimLingo（carla_garage 血统）的数据加载器 dataset_base 在 filter_infractions_per_route=True 时读取每条路线的 results.json.gz：

$\text{score\_composed} < 100 \;\Rightarrow\; \text{整条路线从训练集剔除}$

（字段约定见 EXP-T4.1 notes 的目录约定节：filter_infractions 时 score_composed < 100 被过滤。）

裁决的原子单位是路线目录：{data_path}/data/simlingo/routes_training/town10/r{rid}_s{seed}/Town10HD/ 一级，连目录带帧整体出局，不存在”路线内挑帧”的概念。

为什么不自己发明过滤器

本项目自建了打分（B09 深读），但裁决逻辑一行都没写——直接让官方 dataloader 的既有 filter 读我们写的真值分数。这个”复用官方语义”的选择有三个好处：

1. 零新代码 = 零新 bug 面：过滤行为与官方训练管线逐位一致，不存在”我们的 filter 与训练实际加载行为不一致”的可能；
2. 字段同构即可插拔：我们写真值（scores.score_composed / score_route，字段名完全同构），官方代码读分数，语义完全同源；
3. 语义经得起追问：任何”为什么这条路线没进训练”的问题，答案都是”官方口径下它不合格”，而不是一套自造标准。

这是项目级的既定实践（路线集、相机口径同样复用官方语义），在质检环节又一次兑现。

漏斗实绩

官方 filter 在 3,511 条采集路线上剔除 2,543 条污染路线，剩 834 条干净路线入库（CP4 报告口径）——剔除力度之大正说明打分纪律的必要：如果打分放水（比如重碰撞不折扣），这些路线会静默混进训练集，毒性在 loss 上不可见（B02 深读）。

容易看错的点

• filter 是 dataloader 启动扫描时生效的，增量补采后无需重建索引——新路线目录放进来、带好自己的 results.json.gz，下次训练启动自动按分取舍（T4.0 转换器的增量幂等设计配套）；
• 分数语义是”低于满分即剔除”，所以任何非满分（哪怕 RC=99 无碰撞）都会出局。这要求打分侧必须克制：只在该扣分的地方扣分。

整条剔除 vs 剪坏帧：语义污染没有折中方案

剪帧方案的诱人之处

“只剪掉碰撞前后几秒，其余帧保留”看起来数据折损小：一次刮蹭通常只有几秒，剪掉它路线还剩上百帧。834/3,511 的保留率本可以高得多。

为什么不成立

1. 碰撞前后，车的姿态已经歪了。 刮蹭不是瞬时事件：蹭墙之后车往往压在路肩/斜插在车道上，之后的”纠偏动作”——大角度回舵、低速蠕行——同样是带伤教学。剪掉碰撞冲量出现的几秒，这些次生坏动作仍然留在数据里，而且失去了碰撞记录这个标记，更隐蔽。

2. 剪多剪少没有客观判据。 前 3 秒还是前 5 秒？后 2 秒还是后 10 秒？每个阈值都是拍脑袋，不同路线还不一样。没有判据的过滤规则本身会成为新的分布畸变源——你在用一套主观规则改写训练分布。

3. 原子单位已有官方定义。 官方 filter 的剔除粒度就是路线目录（B16 深读），frame 级剪枝需要自己发明并实现一套新机制，回到”自造语义”的老路上。

成本论

$\text{数据量可以补采，语义污染救不回来。}$

帧是可再生资源（转换器天然支持增量补采，随时能加），而混进训练集的坏动作以权重形式固化后，没有任何”过滤”能事后摘除——只能重训。整条剔除的”浪费”，本质是用可再生的帧，买不可再生的语义纯净度。

容易看错的点

• “保留率更高”是伪收益：模仿学习里 1 条坏标签的边际伤害不成比例地高于 1 条好标签的边际收益——模型对坏动作的泛化（“碰撞是常态”）会扩散到所有相似状态；
• 整条剔除后净化路线的分布仍要复验（速度分布健康：中位 3.74 m/s、低速 <0.5 m/s 仅占 9%，834 条净数据画像）——过滤只解决”坏的不进”，“好的够用”要单独确认。

占位满分：默认值的顺序本身就是语义

背景：为什么需要占位

官方 filter 裁决依赖每条路线的 results.json.gz（score_composed < 100 剔除，见 B16 深读）。但冒烟阶段等场景下部分路线没有真值分数文件，dataloader 拼路径会失败。转换器 t40_convert.py 的对策是写一份满分占位：

elif score_placeholder and not os.path.exists(os.path.join(dst_dir, "results.json.gz")):
    res = {"scores": {"score_composed": 100.0, "score_route": 100.0}, ...}

（tools/t40_convert.py 第 58–63 行；有真值时优先硬链接真值文件，见第 50–57 行。）

事故：顺序反了一次

有一次流程顺序反了：占位文件先落盘，真值文件后到。而转换器两处写盘都带 if not os.path.exists(...) 的幂等保护——占位的满分文件已经存在，真值永远不会覆盖它。filter 一看全是 100 分，污染路线全部放行，垃圾进了训练集。

这类事故的阴险之处在于每个局部决策都合理：幂等保护防重复写是对的，占位防缺文件是对的，只是两个”对”拼在一起，顺序语义错了。

修复与教训

修复很简单：先链接真值，再补占位——占位只在确认真值不存在时才写，且永远可被后到的真值覆盖（M4 坑账原文：“占位满分会被 convert 覆盖（先 link 真值再占位）”）。

教训一句话：默认值的顺序本身就是语义。只要默认值是有业务含义的数值（这里是”满分”= 放行），就必须保证：

1. 占位可被覆盖——占位与真值走同一个写入路径、真值优先；
2. 占位不能抢先——写入顺序本身要作为正确性条件来检查，而不是当作实现细节。

这个坑与”check 缺失即满分”是同类反模式：任何”文件不存在 → 当作通过”的短路逻辑，都会把上游的故障静默翻译成下游的绿灯。