# Prometheus Docker 镜像配置

## 环境变量配置

### PROMETHEUS_BASE_PATH

设置 Prometheus 配置和数据的基础路径。

**默认值**: `/private/argus/metric/prometheus`

**用途**:
- 配置文件存储路径: `${PROMETHEUS_BASE_PATH}/prometheus.yml`
- 规则文件路径: `${PROMETHEUS_BASE_PATH}/rules/*.yml`
- 监控目标文件路径: `${PROMETHEUS_BASE_PATH}/targets/`

## 目录结构

容器启动后会在 `${PROMETHEUS_BASE_PATH}` 下创建以下目录结构：

```
${PROMETHEUS_BASE_PATH}/
├── prometheus.yml          # 主配置文件
├── rules/                  # 告警规则目录
│   └── *.yml
└── targets/                # 监控目标目录
    ├── node_exporter.json
    └── dcgm_exporter.json
```

## 动态配置

- **规则文件**: 在 `rules/` 目录下添加 `.yml` 文件即可自动加载
- **监控目标**: 修改 `targets/` 目录下的 JSON 文件即可动态更新监控目标
- **主配置**: 修改 `prometheus.yml` 后可通过 Prometheus 的 `/-/reload` 端点重新加载配置

## 权限管理

### 默认路径权限
- 默认路径 `/private/argus/metric/prometheus` 在 Dockerfile 中已设置正确的权限
- nobody 用户（UID: 2133, GID: 2015）拥有完全读写权限

### 自定义路径权限
- 当使用自定义 `PROMETHEUS_BASE_PATH` 时，启动脚本会自动创建目录并设置权限
- 确保 nobody 用户对自定义路径有读写权限

### 挂载卷注意事项
1. **主机目录权限**: 确保挂载的主机目录对 nobody 用户（UID: 2133）可写
2. **SELinux**: 如果使用 SELinux，可能需要设置适当的上下文
3. **Docker 用户映射**: 确保容器内的 nobody 用户与主机用户权限匹配

## 故障排除

### 权限问题
如果遇到权限错误，可以检查：
```bash
# 检查目录权限
ls -la /path/to/prometheus/data

# 检查用户映射
id nobody

# 手动修复权限
chown -R 2133:2015 /path/to/prometheus/data
chmod -R 755 /path/to/prometheus/data
```

## 动态 Targets 配置

### 配置流程

1. **节点资源清单**: `nodes.json` 包含所有监控节点的基本信息
   ```json
   [
     {
       "node_id": "A1",
       "user_id": "user01", 
       "ip": "1.2.3.4",
       "hostname": "dev-node-1",
       "labels": ["production", "us-west-1"]
     }
   ]
   ```

2. **Exporter 配置**: `exporter_config.json` 定义各类型 exporter 的端口和标签模板
   - 支持 dcgm (GPU监控) 和 node (系统监控) 两种类型
   - 配置端口映射和标签模板规则

3. **自动拆分生成**: `update_targets.py` 脚本根据节点清单自动生成对应的 targets 文件
   - 读取 `nodes.json` 获取节点信息
   - 按 exporter 类型拆分生成 `targets/*_exporter.json`
   - 应用标签模板，生成完整的监控目标配置

4. **热加载机制**: 
   - 脚本支持守护进程模式，定期检查 `nodes.json` 变化
   - 文件内容变化时自动重新生成 targets 配置
   - Prometheus 自动发现并重新加载新的监控目标

### 使用方式

```bash
# 单次更新（注意用户权限，此方法用于测试，但生成文件是 root 权限）
python3 update_targets.py --config nodes.json --targets-dir targets/

# 守护进程模式， 该进程托管于supervisor
python3 update_targets.py --daemon --check-interval 30
```

## 注意事项

1. 确保挂载的目录有适当的读写权限
2. 配置文件会在容器启动时自动生成，无需手动创建
3. 可以通过修改环境变量 `PROMETHEUS_BASE_PATH` 来改变所有相关路径，无需重新构建镜像
4. 自定义路径的目录会在启动时自动创建并设置权限
5. `nodes.json` 文件变化后，targets 配置会自动更新，无需手动干预