深入理解Agent:从0实现function call
大模型开发/技术交流
- LLM
12月2日25看过
Function的调用时Agent实现很重要的一步,只有了解了这个原理才可以更好的创建Agent。
我将不使用任何langchain等框架或者coze等平台,从0开始构建一个可以调用function的Agent。
源代码已经上传github:github.com/astordu/age…
一、场景
Agent的目标:可以回答关于天气的问题。
用到的function:调用某地方的天气情况,并且反馈流程:
1.思考: 用户输入问题,模型先对问题进行分析
2.行动: 如果问到了天气问题,则分析出需要调用的function以及function要传入的参数
3.响应:function返回后,将答案整理好回复给用户。
函数自定:
-
我们先定义一个获取天气的函数(属于Tools中的一个,这里用于演示,不做真实调用):
def get_weather(location):return "天气晴朗"
2.再定义一个大模型的发送信息的方法:
def send_messages(messages):response = client.chat.completions.create(model="deepseek-chat",messages=messages)return response.choices[0].messageclient = OpenAI(api_key="<你的deepseek的key>",base_url="https://api.deepseek.com",)
二、设计思路
从“用户提出问题”到“思考”到“响应”其实是调用了多次LLM模型。
所以我们要求模型按照顺序去调用LLM:
你在运行一个“思考”,“工具调用”,“响应”循环。每次只运行一个阶段1.“思考”阶段:你要仔细思考用户的问题2.“工具调用阶段”:选择可以调用的工具,并且输出对应工具需要的参数3.“响应”阶段:根据工具调用返回的影响,回复用户问题。已有的工具如下:get_weather:e.g. get_weather:天津返回天津的天气情况Example:question:天津的天气怎么样?thought:我应该调用工具查询天津的天气情况Action:{"function_name":"get_response_time""function_params":{"location":"天津"}}调用Action的结果:“天气晴朗”Answer:天津的天气晴朗
上边的逻辑正好可以当作system的提示语:
system="""你在运行一个“思考”,“工具调用”,“响应”循环。每次只运行一个阶段1.“思考”阶段:你要仔细思考用户的问题2.“工具调用阶段”:选择可以调用的工具,并且输出对应工具需要的参数3.“响应”阶段:根据工具调用返回的影响,回复用户问题。已有的工具如下:get_weather:e.g. get_weather:天津返回天津的天气情况Example:question:天津的天气怎么样?thought:我应该调用工具查询天津的天气情况Action:{"function_name":"get_response_time""function_params":{"location":"天津"}}调用Action的结果:“天气晴朗”Answer:天津的天气晴朗"""
第一步,向模型提问一个问题
question="北京天气怎么样"messages = [{"role": "system", "content": system_prompt},{"role": "user", "content": question}]message = send_messages(messages)print(f"Model-1th>\n {message.content}")
返回值:
Model-1th>thought:我应该调用工具查询北京的天气情况Action:{"function_name":"get_weather","function_params":{"location":"北京"}}
可以看出模型已经进行了思考,并且返回了可以调用的工具了
第二步,如果从“第一步”的返回值中可以提取调用工具的json
第三步,调用真实工具,获取真实结果(这里是伪代码)
invoke_function(**function_name,**function_params)
第四步,将工具调用的结果追加到message中,一起给到模型,让它总结回答:
messages.append({"role": "assistant", "content": f"调用Action的结果:{tianqi}"})message = send_messages(messages)print(f"Model-2th>\n {message.content}")
返回值:
Model-2th>北京今天的天气晴朗。
三、tools功能的演进
随着LLM调用工具的普及,这种调用方法集成在大模型api接口中就变得越重要。
大部分模型厂商已经支持了function call,下面是deepseek工具调用的一个例子[1]:
response = client.chat.completions.create(model="deepseek-chat",messages=messages,tools=tools)
其中 tools是可以供模型选择的工具。
写在最后
从0开发写function的逻辑,需要让模型思考、观察、行动。其实这个流程的循环其实就是ReAct框架的原理。[2]
参考文章:
[1] deepseek function文档: api-docs.deepseek.com/zh-cn/guide…
[2]# 讓 LLM 更好用的方法:ReAct prompting: edge.aif.tw/application…
————————————————
版权声明:本文为稀土掘金博主「雷哥AI工程化」的原创文章
原文链接:https://juejin.cn/post/7428119275473534988
如有侵权,请联系千帆社区进行删除
评论