dify调用本地的stable diffusion api生成图片的工作流搭建

ppylox
·8/4/2024·0 阅读
AI 摘要模型根据正文自动生成,仅供参考

本文介绍在本地通过Dify调用Stable Diffusion API生成图片的工作流搭建:以开始节点接收用户输入,经LLM将提示词转为含背景与质量描述的英文SD关键词,再请求本地API生成图片;通过代码节点提取base64数据并拼接头部,经模板转换输出Markdown格式图片。当前限制为生成图片不能超过1M,否则报错,后续待优化。

大家好我是图恩,以下为我在本地环境通过dify调用stable diffusion api生成图片的工作流搭建步骤,以此作为记录。

开始,用于接收用户输入。

llm: system 关键词添加,这一步主要是将输入的关键词通过大模型生成stable diffusion 关键词,为后续的图片生成做准备。

请根据提示词生成stable diffusion关键词,通过逗号分割,\n并添加背景描述词跟图片质量描述词,\n例如masterpiece,8k,realistic等等,\n如果是人物,请添加一些人物细节描述的词汇,请用英文回答。

请求本地stable diffusion api生成图片:

新增代码执行,用于图片数据获取,这一步是为了拿到生成的base64图片数据,因为默认是一张图片,而且还是base64格式的,要想生成图片,还需要拼接头部信息。

\nfunction main({arg1}) {\n    return {\n        result:'data:image/png;base64,'+ JSON.parse(arg1)["images"][0]\n    }\n}\n

新增模板转换,用于生成md格式的图片:

最后输入生成的字符串:

完整的流程:

效果还不错,但是目前有个不足,就是生成的图片不能超过1M,否则会报错,以上步骤还有优化的地方,待以后再优化吧。


相关文章

评论 (0)

暂无评论,来写第一条吧