RL 工作区

让策略在真机上rollout，在需要时由人接管，并以同步相机、URDF与critic value回放已保存的数据。

RL工作区：策略rollout、HIL干预与实时value曲线可视化。

概览

RL是控制台七个标签页（DEBUG · MANUAL · COLLECT · REPLAY · RL · EVAL · RESULT）之一。它把策略rollout与数据采集放在同一流程：默认由policy控制机器人，操作者可接管指定片段，完整episode会保存供训练和审查。

Critic是可选的。只选任务和policy即可setup与rollout。setup完成后选择critic，才会增加实时value曲线和replay时的critic评估。

前置条件

一份可连接真机的配置，传输层、相机观测与URDF状态均正常。
一台可访问且观测/动作schema匹配的policy server。
需要人工干预时，机器人适配层必须上报HIL支持。
configs/04_rl/下对应机器人的RL配置；机器相关值放在被忽略的.local.py覆盖文件中。

配置与启动

从对应机器人的模板开始。policy条目必需，critics可以为空。当前rollout以LeRobot格式落盘。

configs/04_rl/r1lite_rl.local.py

_base_ = ['r1lite_rl.py']

rl_cfg = dict(
    tasks=['assemble the phone'],
    policies=[dict(
        name='r1lite_policy',
        config='../01_deploy/r1lite/openpi_qpos.local.py',
        host='127.0.0.1',
        port=9000,
    )],
    critics=[dict(
        name='r1lite_critic',
        type='websocket',
        host='127.0.0.1',
        port=9100,
        backend_options={},
    )],
    data=dict(storage=dict(
        log_dir='work_dirs/rl/r1lite',
    )),
)

bash

eva --config configs/04_rl/r1lite_rl.local.py

操作流程

#	控件	行为
1	TASK	选择rollout任务指令。
2	POLICY	先选任务再选policy后，机器人与policy会自动setup；setup面板逐步显示准备阶段。
3	CRITIC	setup完成后可选连接critic；不选critic也能完整rollout。
4	RUN	开始或继续rollout。SOURCE状态明确显示当前控制来自POLICY还是INTERVENTION。
5	SAVE ROLLOUT	把当前轨迹放入后台保存队列，然后自动准备一轮新的Live会话。
6	REPLAY / QC	选择已保存episode进行回放，并记录PASS/FAIL及可选备注。

rollout期间可以RESET。人工干预进行中会禁用RESET；需先ACCEPT或ABANDON当前干预。

人在回路干预

rollout前打开HIL。policy运行时按INTERVENE把控制权交给操作者。source指示会立即变化，保存的episode也会把干预区间与policy控制帧分开标记。

ACCEPT保留干预片段并把控制权交还policy。
ABANDON放弃当前干预片段。
干预未处理时禁止保存，确保每个落盘片段都有明确source。

Critic value

critic连接后，CRITIC VALUE面板会在Live rollout和replay期间更新。横轴标注秒级时间，曲线显示critic输出，背景区域区分policy控制与人工干预。

开始回放另一条episode时，会先清空上一条value曲线再绘制新曲线。未选择critic时隐藏该面板，Live相机布局使用完整工作区。

保存、回放与QC

SAVED DATA面板显示保存队列状态、进度、ETA和每条episode的方块。点击任意已完成方块即可立即载入。replay让所有相机流与URDF共用同一时间轴；action/state曲线只在replay显示，选择critic时会重新计算value。

使用PASS、FAIL和备注框完成质检，所选episode会显示持久化后的结论。按RETURN TO LIVE退出审查并恢复真机Live视图。

常见状态与故障

状态	含义与处理
`SELECT TASK + POLICY`	选择两个必填项；选择被后端确认后自动开始setup。
`AUTO · PREPARING ROBOT…`	setup正在进行；结合阶段文字与EVA进程日志判断进度。
`POLICY OFFLINE`	检查配置的host/port及policy server观测schema。
`CRITIC OPTIONAL · ERROR`	critic连接失败，但仍可使用纯policy rollout；修复critic server后再选择。
保存被阻止	用ACCEPT或ABANDON结束当前干预。