如何在百度百舸部署满血版DeepSeek-V3、DeepSeek-R1模型
大模型开发/技术交流
- LLM
2月18日643看过
百度百舸·AI异构计算平台已支持快速部署DeepSeek-V3、DeepSeek-R1及其蒸馏的Llama、Qwen等小规模dense模型。您可以登录百度百舸平台快速部署DeepSeek系列模型体验模型效果。
开通轻量计算实例
开通一台H20（ebc.lgn7t.c208m2048.8h20.4d）规格的计算实例并添加到百度百舸·AI异构计算平台。详细开通步骤，请点击「阅读全文」查看。
部署vLLM
在百度百舸平台的左侧导航中选择「工具市场」页面，部署工具vLLM。
模型推理
vLLM部署成功，登录实例下载模型并启动vLLM服务，安装WebUl客户端。
发送请求开始对话。
各系列模型的推荐配置清单
在完成满血版DeepSeek模型的快速部署后，百度百舸·AI异构计算平台还能为这些在线服务提供全生命周期管理、自研框架推理加速、推理资源碎片整理等能力。在保障服务稳定性的同时，有效降低推理成本并提升推理性能。
评论
