# MVP v3.7 开发计划（TDD）

> 目标：切换 Ray 节点基础镜像到 `verlai/verl:vllm011.latest`，并将平台内置 PPO/GRPO 默认 rollout backend 全量切到 `vllm`，最后在远端 `argus@h1` 通过 `run_all_v30_api.sh` 跑通端到端。

## M0 - 基线确认（不改行为）

**目的**：确认当前 v3.6 baseline 可跑（避免把历史问题混入 v3.7）。

- [ ] 本地单测全绿：`.venv/bin/python -m pytest`
- [ ] 远端 h1 当前环境可跑（可选）：`./scripts/run_all_v30_api.sh`（或至少能启动 Ray+API）

**验收**：
- 单测通过，coverage ≥ 90%（现有门槛）

---

## M1 - 训练默认参数切换到 vllm（TDD）

**目的**：在不碰镜像/compose 的前提下，先把“默认 rollout=sglang”替换为 vllm，并用单测锁定行为。

### 1.1 新增/更新单测（先写测试）

- [ ] `src/mvp/py/tests/test_builders.py`
  - 新增断言：PPO/GRPO 的 argv 中包含 `actor_rollout_ref.rollout.name=vllm`
  - 且不再包含 `actor_rollout_ref.rollout.name=sglang`

- [ ] `src/mvp/py/tests/test_ui.py`
  - New Task Advanced example 模板包含 `actor_rollout_ref.rollout.name=vllm`（避免用户 copy/paste 走错默认）

> 这两条测试先写出来，预期先失败（red）。

### 1.2 实现改动（让测试变绿）

- [ ] `src/mvp/py/argus/ray/builders.py`
  - 将 `actor_rollout_ref.rollout.name=sglang` 改为 `...=vllm`

- [ ] `src/mvp/py/argus/service/ui.py`
  - Advanced example 中同样改为 `...=vllm`

### 1.3 回归测试

- [ ] `.venv/bin/python -m pytest`

**验收**：
- 单测全绿（coverage ≥ 90%）
- 平台内置 PPO/GRPO 构建出的 command/overrides 默认 rollout backend 为 vllm

---

## M2 - 镜像与 compose 切换（远端构建为主）

**目的**：完成镜像切换与环境拉起，确保 Ray stateless pool 正常工作。

### 2.1 Dockerfile 默认 base image 切换

- [ ] `src/mvp/images/argus-ray-node/Dockerfile`
  - `ARG BASE_IMAGE=verlai/verl:vllm011.latest`

### 2.2 docker-compose 强制使用新镜像（移除 build）

- [ ] `src/mvp/docker-compose.yaml`
  - 移除 `ray_head.build` 段（强制走 `image:`）
  - `ray_head.image / ray_worker_0.image / ray_worker_1.image` 统一改为：
    - `argus/argus-ray-node:vllm011.latest`

### 2.3 远端构建镜像（h1）

在 `argus@h1:/home2/argus/infra/mvp/src/mvp`：

- [ ] `docker build -f images/argus-ray-node/Dockerfile -t argus/argus-ray-node:vllm011.latest .`

### 2.4 清理旧 compose 并拉起

- [ ] `docker compose down`
- [ ] `docker compose up -d`
- [ ] 验证：
  - `docker ps` 看到 `argus-ray-head/worker` 正常运行
  - Ray dashboard：`http://<h1IP>:8265` 可访问，节点数 1 head + 2 worker

**验收**：
- h1 环境成功使用新镜像拉起 Ray 集群（head 无 GPU、worker 各 4 GPU 的配置仍保持）

---

## M3 - 端到端验证（run_all_v30_api.sh）

**目的**：验证在新镜像 + 默认 vllm rollout 下，API 提交的训练任务能跑通闭环。

### 3.1 同步代码到远端

- [ ] rsync `src/mvp` 到 `argus@h1:/home2/argus/infra/mvp/src/mvp`

### 3.2 执行 E2E

在 h1：

- [ ] `./scripts/run_all_v30_api.sh`（确保环境变量按脚本要求设置：`MVP_INTERNAL_TOKEN`、可选 `WANDB_API_KEY` 等）

### 3.3 核心检查点

- [ ] PPO/GRPO/SFT 任务整体流程可执行（至少 PPO/GRPO 不因 rollout backend 初始化失败）
- [ ] 任一 PPO/GRPO 的 Ray job logs / submit payload / hydra overrides 中可确认：
  - `actor_rollout_ref.rollout.name=vllm`

**验收**：
- `run_all_v30_api.sh` 端到端成功（或若 PPO/GRPO 因 vllm 参数差异失败，需在本 milestone 内补齐必要 overrides 并重新跑通）

---

## 风险与回滚策略

### 风险

- vLLM rollout 可能对部分参数（如 batch/并发/显存利用率）有不同约束，导致训练启动失败。
- base image 切换导致 ray/依赖版本差异。

### 回滚

回滚到 v3.6 / sglang 的最小动作：
- `docker-compose.yaml` 恢复旧镜像 tag
- `builders.py` 恢复 rollout.name=sglang