DeepSeek 蒸馏教程,R1秒变行业“小钢炮”
大模型开发/技术交流
- 开源大模型
- 大模型训练
- SFT
3月8日 96看过
DeepSeek R1是国运级别的科技里程碑,性能一流、模型开源、适合本地部署、完全自主可控、随意微调蒸馏。
同济子豪兄手把手教你在百度智能云千帆大模型服务与开发平台ModelBuilder中,跑通满血版DeepSeek R1将数学知识蒸馏给小模型ERNIE Speed的全流程,包含:体验DeepSeek全系大模型、构建蒸馏数据集、创建蒸馏作业、发布在线推理服务、对话蒸馏小模型。
一千块钱就能蒸馏训练得到在特定领域性能追平DeepSeek R1的“小钢炮”。“小钢炮”价格成本极低,推理速度极快,本地部署极方便。模型蒸馏实现从“狂堆参数”转向“精准提纯”,花小钱办大事。
你也可以照着这个教程,制作你自己的行业蒸馏数据集,蒸馏出你自己行业平替的小模型,站在DeepSeek的巨人肩膀上创新。
DeepSeek R1是国运级别的科技里程碑,性能一流、模型开源、适合本地部署、完全自主可控、随意微调蒸馏。
同济子豪兄手把手教你在百度智能云千帆大模型服务与开发平台ModelBuilder中,跑通满血版DeepSeek R1将数学知识蒸馏给小模型ERNIE Speed的全流程,包含:体验DeepSeek全系大模型、构建蒸馏数据集、创建蒸馏作业、发布在线推理服务、对话蒸馏小模型。
一千块钱就能蒸馏训练得到在特定领域性能追平DeepSeek R1的“小钢炮”。“小钢炮”价格成本极低,推理速度极快,本地部署极方便。模型蒸馏实现从“狂堆参数”转向“精准提纯”,花小钱办大事。
你也可以照着这个教程,制作你自己的行业蒸馏数据集,蒸馏出你自己行业平替的小模型,站在DeepSeek的巨人肩膀上创新。
评论
