3分钟部署ChatGPT服务端应用(附代码)

Posted by Yezhiwei on March 27, 2023

准备部署

在上一篇文章中我们设计了一个 ChatGPT 图形化应用,那么,怎么部署到服务器上,通过接口对外入提供服务呢?

如下图所示:可以点击"Export"按钮,可以将流程导出为 JSON 文件,以便与 LangChain 一起使用

langflow-deploy

测试模型

代码 flow.py

from langflow import load_flow_from_json

flow = load_flow_from_json("/Users/Yezhiwei/Downloads/flow.json")
# Now you can use it like any chain
#re = flow("乔布斯在哪年发布了 Iphone4")
re = flow("Iphone16 有哪些新功能")
print(type(re))
print(re)

运行脚本

python flow.py

查看结果

每次运行的结果并不完全相同

langflow-iPhone16

说明代码片段是没有问题的,下面一起来看如何把它变成一个接口服务

ChatGPT 出场

选择 Web 框架

假设我自己不会写 Python Web 接口服务,也不知道使用哪个框架。。

那么,让 ChatGPT 来辅助我一下:问她「最简单的 Python web 框架是哪个」

image-20230325233429805

吧啦吧啦说了一大堆,只需关注关键字:Flask 即可。

框架代码生成

接下来,让 ChatGPT 把框架写出来:

image-20230325233619513

看到了没有,框架出来了,还有解释,👍👍👍

运行测试

把代码拿下来,黏贴到文件中,命名为 flow_serving.py ,执行命令 python flow_serving.py

image-20230325233950668

运行出错了,很明显没有安装 flask 模块,不会解决也没有关系,继续问题 ChatGPT

image-20230325234130959

又说了一大堆,没关系,其实只需要 pip install flask

image-20230325234420459

再次运行命令 python flow_serving.py ,如下图说明正常。

image-20230325234616580

代码集成

把 flow.py 中的代码,集成到 chat_flow 函数中,修改 chat 函数返回值,如下图:

langflow-serving-code

集成测试

接口效果

langflow-server-success-json

后端日志

langflow-server-success

小结

欢迎关注公众号,更及时的接收消息,后续会继续写一些相关 ChatGPT 的文章。