【百度AI搜索开发赛】基于百度智能搜索和文心4.5多模态智能识图加天气搜索Agent

大家好，这是基于千帆AppBuilder，开发的一款多模态智能识图加天气搜索Agent。

设计作用：

外出旅游时你看到不认识的植物，动物，文字，都可以通过它进行识图，还可以查询真实的天气，为外出旅游做准备

通过ERNIE-4.5-Turbo-VL-32K多模态大模型，识图更加准确。它可以识别图片，包括、植物、动物、物品等，还可以查询城市的天气。

在输出结果前通过使用Qianfan-Agent-Speed-32K，可以归纳总结，提供关键信息减少阅读量，提高文字的可读性。

是你外出探索的必备选择。

流程总览：

开发流程：

1.用户输入图片

首先从开始节点引出分支点，如果用户有输入图片，则会直接通过ERNIE-4.5-Turbo-VL-32K大模型进行图片识别，识别结果会输入到百度智能搜索生成组件中，通过智能搜索组件生成其详细信息，然后将百度智能搜索组件生成的结果输入到Qianfan-Agent-Speed-32K大模型中进行归纳和总结，最终输出结果。

2.若是用户没有输入图片

若是用户没有输入图片，直接输入文字，会到达意图识别节点，通过精准意图识别节点，可以将用户的输入分为三类：

第一类：输入含城市的名称

若用户输入的意图为第一类：

就会提取用户收入中城市的名称，输出到天气查询组件，进行天气查询，最终查询结果通过Qianfan-Agent-Speed-32K大模型进行归纳总结，最后输出给用户

第二类：用户有查询天气的意图

若用户的输入意图为第二类：

则大模型会通过信息收集节点提问用户“你可以输入城市名查天气或识别图片😶‍🌫️”，若用户输入城市名称，会将名称输入到天气组件，进行类似于第一类的流程。

如果用户还没有输入城市名称，则会跳转到全局跳转节点，全局跳转节点会使用设置的话术，引导用户输入城市名称或者输入图片。然后全局跳转节点会跳到信息收集节点，重复前一步骤。若用户输入城市名称或者图片，则会进行相应的天气查询或者图片识别。

第三类：其他意图

若用户的输入意图为第三类：

则会直接跳转到全局跳转节点引导用户进行天气查询或图片识别。

成果展示