Lesson 08 · 集成

三支柱拼成端到端闭环

最后一课：把预测、控制、安全缝合成一条流水线，并接上 Pivot 楼宇架构。

一、端到端数据流（一张图说清协同）

传感器/CCTV ──MQTT──→ TimescaleDB（时序存储，已有）
                          │
            ┌─────────────┼──────────────────────────────┐
            ▼             ▼                              ▼
      ┌──────────┐  ┌───────────┐               ┌────────────────┐
      │ 数据采集  │  │ 支柱 A    │               │ 支柱 B         │
      │ + 清洗    │  │ Neural ODE│               │ SAC 控制器     │
      │          │  │ + PINN    │               │ （云端推理）    │
      │          │  │ 6h 前瞻   │               │                │
      └──────────┘  └─────┬─────┘               └────────┬───────┘
                          │                              │
                  预测温度轨迹                       候选控制动作
                          │                              │
                          └──────────┬───────────────────┘
                                     ▼
                          ┌───────────────────────┐
                          │ 支柱 C · 安全门控      │
                          │ 1.硬约束(用A的前瞻)    │
                          │ 2.限幅 3.回退 4.人工   │
                          └───────────┬───────────┘
                                      │ 通过/回退
                                      ▼
                          MQTT 下行控制指令（Pivot 现有通道）
                                      │
                                      ▼
                                   HVAC 设备

三个协同点（这是"集成"的精华）：

1. A → C（前瞻拦截）：预测器算出候选动作下未来 30min 温度，门控第 1 层据此提前否决越界动作。预测不只是给人看的报表，是安全的眼睛。
2. A → C（可信度监控）：把上一步预测和当前实测比对，误差连续超阈值 → 门控第 3 层判定"模型不可信"，切 PID。模型 drift 不再是隐患。
3. B → C（动作驯化）：SAC 输出的原始动作，必须经门控限幅+硬约束才下达。RL 的"野性"被驯服成"可上楼的策略"。

二、动手做：把三块缝起来

import gymnasium as gym, sinergym
from stable_baselines3 import SAC
from torchdiffeq import odeint
# 假设你已经有了：forecast_model (支柱A)、sac (支柱B)、SafetyGate (支柱C, 第7课)
from safety_gate import SafetyGate
from pid import PID

sac = SAC.load("./sac_best/best_model")
pid = PID()
gate = SafetyGate(pid, thermal_model=forecast_model)    # 把预测器喂给门控

env = gym.make("Eplus-5zone-hot-continuous-stochastic-v1")
obs, prev_obs = env.reset(), None

for step in range(3504):                       # 一年
    # 支柱 B：SAC 出候选动作
    raw_action, _ = sac.predict(obs, deterministic=True)
    # 支柱 C：安全门控（内部会调支柱 A 做前瞻/可信度）
    safe_action, reason = gate.safe_action(raw_action, obs, prev_obs)
    # 下达
    prev_obs = obs
    obs, reward, term, trunc, info = env.step(safe_action)
    if reason != "rl_ok":
        log_shield(step, reason)             # 记 shield 触发
    if term or trunc:
        obs, _ = env.reset()
env.close()

三、落到 Pivot 架构：放哪、怎么接

研究材料 world-model-research.md §9 已经规划了世界模型在 Pivot 的位置。我们这套（BrainBox 式）技术栈落点几乎一致，因为都是"预测 + 控制 + 安全"的增强层，只是控制层是无模型 DRL 而非 MBRL：

四、上线节奏（与研究材料 §6.6 / §11 对齐）

阶段 1（6-12月）· 仿真验证 + 数据积累
  ├─ EnergyPlus/Sinergym 里跑通三支柱（你已完成！）
  ├─ 收集 ≥3 月真实 HVAC 时序数据
  └─ 退出门槛：仿真节能 < 5% → 不上真楼

阶段 2（12-18月）· 单栋 PoC + 建议模式
  ├─ 选 1 栋楼，RL 只"推荐"设定值，人工审批后执行
  ├─ 安全门控四层全开 + 全审计
  └─ 退出门槛：3 月后节能 < 5% 或 shield 率 > 20% → 回退 PID

阶段 3（18-24月）· 闭环 + 多栋推广
  ├─ KPI 达标后转闭环，建立模型版本管理（类 Flyway）
  └─ 逐步扩展，持续 drift 检测 + 定期重训

五、诚实复盘：你复刻到了什么、还差什么