8 lines
404 B
Markdown
8 lines
404 B
Markdown
|
||
1. 通过ray serve（后端vllm）来动态拉起llm，支持多模型application部署，
|
||
2. 默认一个模型只有一个replica，用户配置可以多个
|
||
3. 用户可以删除（下线）模型
|
||
4. 可以指定模型用几张卡
|
||
5. 通过WebUI来进行配置，查看当前部署的模型列表，以及可以查看详情
|
||
6. 模型路径可以使用common，也可以用户自己指定user路径
|
||
7. |