参考 · Reference
DreamerV3 · 一页速查
忘了就回来看这一页。打印出来贴墙上也行。核实于 2026-07。
最核心的一句
DreamerV3 = 先学一个世界模型（RSSM），再在模型里"想象 rollout"训练 Actor-Critic，几乎不碰真环境。部署时只用 Actor（CPU <50ms）。
RSSM 四零件
| 零件 | HVAC 含义 |
|---|---|
| ① 编码器 | 传感器读数 → 潜在状态 |
| ② 转移(先验) | 建筑热动力学 |
| ③ 解码器 | 还原约束(防丢信息) |
| ④ 奖励头 | 预测能耗+舒适度 |
训练三步循环
| 步 | 动作 |
|---|---|
| ① 真实交互 | 在 EnergyPlus 走几步，存经验 |
| ② 训世界模型 | 用经验更新 RSSM 四零件 |
| ③ 想象+AC | 想象 N 步，在轨迹上训 Actor/Critic |
代码文件 → 概念
| 文件 | 内容 |
|---|---|
dreamer.py | 训练循环+推理 |
models.py | WorldModel + ImagBehavior |
networks.py | RSSM/编解码 MLP |
envs/hvac.py | 我们要加的 |
configs.yaml | 所有超参 |
关键超参（方案 §2.1.5）
| 超参 | 默认 | HVAC |
|---|---|---|
imag_horizon | 15 | 20 |
discount | .997 | .99 |
steps | 1e6 | 5e5 |
action_repeat | 2 | 1 |
batch_size | 16 | 8 |
dyn_deter/stoch | 512/32 | 不变 |
训练命令
$ python3 dreamer.py \
--configs hvac \
--task hvac_summer \
--logdir ./logdir/hvac_summer
envs/hvac.py 实现 Gymnasium：reset/step + 观测/动作空间，背后接 Sinergym→EnergyPlus。
推理流程（部署后）
读当前状态+该楼隐状态 → Actor 前向(1次) → 更新隐状态、输出动作 → L2安全门控(约束/限幅) → Action Gateway(审批) → MQTT write → 冷机
每栋楼独立一个隐状态；回退PID时清掉它（/v1/reset）。
⚠️ 2026-07 版本现实（动手前必读）
| 项 | 方案写的 | 2026-07 实际 |
|---|---|---|
| PyTorch 实现 | NM512/dreamerv3-torch 6ef8646 |
仓库已归档(2026-07-05)；继任者 r2dreamer |
| 官方实现 | TF 2 / JAX（过渡） | 已全面 JAX |
| Nature 论文 DOI | s41586-024-07778-2 | 核实非 DreamerV3 文章；用 arXiv:2301.04104 最稳 |
| 商用落地 | 理论预期 15-25% | 无公开商用标杆（BrainBox 走无模型DRL） |