Llama-3-8B和Llama-3-70B上线千帆ModelBuilder
大模型开发/技术交流
- LLM
- 开源大模型
4月19日1232看过
支持模型
Meta-Llama-3-8B
Meta-Llama-3-70B
快速体验方案
1、登录千帆控制台，点击【计费管理】菜单，地址：https://console.bce.baidu.com/qianfan/chargemanage/list
2、找到Llama-3-8B和Llama-3-70B两个模型，点击【开通计费】
3、在开通计费以后，访问体验中心：https://console.bce.baidu.com/qianfan/ais/console/onlineTest，勾选Llama-3-8B和Llama-3-70B两个模型
4、输入测试prompt，体验Llama3大模型
接口体验方案
用户默认QPS=1，如果流量超限，可以通过购买算力单元部署模型。
Llama-3-8B
接口调用示例：
Llama-3-70B
接口调用示例：
购买算力单元部署Llama-3
Llama-3模型在千帆平台上当前默认QPS=1进行流控，如果希望获取更大的QPS，可以通过算力单元部署方式支撑。
2、点击部署
3、填写部署信息
4、支付下单
5、在我的服务当中找到部署的模型，查看部署状态。
6、如果状态变更为【已发布】，可以前往【体验中心】：https://console.bce.baidu.com/qianfan/ais/console/onlineTest
7、选择刚才部署的模型
8、输入测试prompt
评论
