Lesson 02 · 环境

可练手的环境：EnergyPlus + Sinergym

真实楼宇没法拿来"试错训练 RL"——你需要一个高保真沙盒。这一课把它搭起来。

一、三个角色，一张图看懂

┌─────────────────────────────────────────────────────────────┐
│                      你的 RL / 预测训练循环                  │
│                   （Gymnasium 标准接口：reset/step）          │
└───────────────────────────┬─────────────────────────────────┘
                            │ 观测 obs / 动作 action / 奖励 reward
                            ▼
┌─────────────────────────────────────────────────────────────┐
│  Sinergym   把 EnergyPlus 包成 Gymnasium env                  │
│             提供 5-zone office 等现成建筑 + 随机天气           │
└───────────────────────────┬─────────────────────────────────┘
                            │ 回调里读传感器 / 写执行器
                            ▼
┌─────────────────────────────────────────────────────────────┐
│  EnergyPlus   美国能源部建筑能耗仿真引擎（C 库）              │
│               真正算热平衡、冷机 COP、管网……一栋楼一个 episode │
└─────────────────────────────────────────────────────────────┘

二、版本必须钉死（最大的坑）

Sinergym、EnergyPlus、Python 三者版本互相钉死，错一个就跑不起来。这是新手 90% 的卡点。

三、动手做：用 Docker 起一个能跑的环境

这条路径不碰本地 EnergyPlus 安装，最省心。确认你装了 Docker Desktop（macOS / Windows / Linux 都行）。

# 1. 拉取 Sinergym 官方镜像（runtime 变体）
docker pull jajimer/sinergym:latest

# 2. 起一个交互式容器，并把本地工作目录挂进去（方便存脚本）
docker run -it --name sinergym-lab \
  -v "$PWD/workspace":/workspace \
  jajimer/sinergym:latest bash

# 3. 进容器后，确认版本钉死无误
python --version        # 应输出 Python 3.12.3
pip show sinergym | grep Version
energyplus --version    # 应输出 EnergyPlus, Version 25.1.0

import gymnasium as gym
import sinergym  # 注册 Eplus-* 系列 env id（副作用导入）
import numpy as np

# 5 区域办公楼 + 炎热气候 + 连续动作 + 随机天气扰动
env = gym.make("Eplus-5zone-hot-continuous-stochastic-v1")

obs, info = env.reset()
print("观测维度 =", obs.shape)
print("动作空间 =", env.action_space)

for step in range(5):
    action = env.action_space.sample()          # 先用随机动作探探路
    obs, reward, terminated, truncated, info = env.step(action)
    print(f"step {step}  reward={reward:+.3f}  terminated={terminated}  info keys={list(info)}")
    if terminated or truncated:
        obs, info = env.reset()

env.close()

python hello_sinergym.py

四、读懂这个 env：观测、动作、奖励

跑通只是第一步。要复刻 BrainBox，你得清楚这个 MDP 的三要素——它们对应到 BrainBox 的预测输入（obs）和控制输出（action）。

观测空间（obs）——对应"感知 + 预测输入"

Sinergym 自动从 EnergyPlus 的 Output:Variable / Output:Meter 生成观测。5-zone office 典型包含：

• 时间：month / day_of_month / hour
• 各 zone 状态：zone air temperature、relative humidity（这正是支柱 A 要预测的目标）
• 全楼表计：facility total HVAC electricity、cooling energy、heating energy（对应奖励里的"能耗"）
• 室外扰动：outdoor drybulb temp、direct/diffuse solar radiation

动作空间（action）——对应"设定值优化"

连续 Box，默认是加热/制冷设定点温度（heating/cooling setpoint）。这恰好对上 BrainBox"优化 setpoints"的描述——你不直接动阀门，你改"目标温度"，让既有 BMS 控制环去追。

# action 是 [-1, 1] 的归一化值，Sinergym 会映射回真实 setpoint
print(env.action_space)              # Box(low=-1, high=1, shape=(2,))
# 第 0 维 → heating setpoint；第 1 维 → cooling setpoint（°C）
# 真实范围在 env 的 variables.yaml 里定义（通常 15–30°C 区间）

奖励（reward）——能耗 vs 舒适的权衡

Sinergym 默认奖励是 −(能耗项 + 舒适违规惩罚项)。这跟 BrainBox"能耗 + 舒适度 + 设备磨损"的多目标是同一个思路，第 6 课我们会把它改得更贴近 BrainBox。

五、关键陷阱清单