我要投稿

手把手教你在dify中如何将用户输入的长文本分割成多个内容

发布日期：2024-08-28 14:14:20 浏览次数： 6574

作者：提示日记

微信搜一搜，关注“提示日记”

如果你是dify开发者，或者是工作流的狂热爱好者，你难免会遇到这么一个问题：当用户输入一个超长文本内容时，你的工作流没办法一下子处理这么长的内容，或者没办法将这么长的内容按照预期处理的非常精致。

其实这个问题之前也总是困扰我，尤其是我最近在用dify玩超长文本翻译的工作流时，受大模型的限制，没办法一下子将超长文本一次性处理到位，于是我就想到一个替代方案，就是先将长文本切割成多个短文本，然后使用迭代节点，分批次处理，最后完成结果的拼接。这样我的大模型就有较大的把握处理好这个场景问题。

其实操作起来也很简单，就是在“开始节点”后面接入一个“代码执行”节点，并且这个代码执行节点只写最基础的脚本，不需要处理复杂的逻辑。如下是Python代码参考示例：


def main(input_text: str) -> str:    token_limit = 1000    overlap = 100    chunk_size = int(token_limit * 6 * (4/3))
        # Initialize variables    chunks = []    start_index = 0    text_length = len(input_text)
    # Loop until the end of the text is reached    while start_index < text_length:        # If we are not at the beginning, adjust the start_index to ensure overlap        if start_index > 0:            start_index -= overlap
        # Calculate end index for the current chunk        end_index = start_index + chunk_size        if end_index > text_length:            end_index = text_length
        # Add the current chunk to the list        chunks.append(input_text[start_index:end_index])
        # Update the start_index for the next chunk        start_index += chunk_size
    return {        "chunks": chunks,    }

请注意chunks输出变量的类型要选array[string]。

代码节点将 input_text 分成长度为 token_limit 的块。每个块相互重叠，以确保文本的一致性。

代码节点输出一个由 input_texts 分段文本组成的数组 chunks。

当我们切分长文本之后，后面就要跟上一个迭代节点，按照你的实际需要分批次加工了。

迭代逻辑处理完成后，你最终是需要将内容拼接好，并展示出来的，所以你可能会用到“模板转换”节点。当然，你使用代码执行节点，手搓代码进行拼接也是可以的，这个随你的编程能力而定。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-08-29

Dify 1.8.0 实测：多模型管理、MCP OAuth、异步存储，真升级还是鸡肋?

2025-08-28

Dify v1.8.0大版本更新：多模型凭证系统的底层架构革新与MCP的 OAuth 集成能力突破！

2025-08-27

Dify发布了V1.8.0版本，安全性和性能有了重大改进，让我们一起来看看吧！

2025-08-25

4300字长文：使用dify搭建合同审核Agent

2025-08-23

Dify集成MCP服务

2025-08-23

Dify v1.7.2 实战爆破：6 大特性颠覆开发，23 处修复稳如老狗

2025-08-20

深度实战：我用 Dify 复刻了 1688 的 AI 搜索，“多路召回”才是灵魂

2025-08-20

Dify Java Client

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

手把手教你在本地部署MinerU 1.3.10 API并接入Dify插件

2025-06-04

53AI Studio：高准确率是企业级AI应用的“终局之选”

2025-06-25

Dify实现AI智能体工作流实战手册

2025-06-03

Dify 支持视频生成了！附 AI 视频应用搭建教程

2025-06-02

Dify升级不成功？你只要做对这一步，升级真的太简单了！

2025-06-05

深入调研Dify，本地搭建实战案例

2025-06-10

基于Dify平台实现推荐问题点击交互功能的技术方案

2025-06-30

DifyAI关键技术深度剖析

2025-06-29

Dify MCP 保姆级教程来了！

2025-06-24

Dify 深度拆解（二）：后端架构设计与启动流程全景图

2025-06-09

大家都在问

Dify 1.8.0 实测：多模型管理、MCP OAuth、异步存储，真升级还是鸡肋?

2025-08-29

Dify功能解析四：Dify父子模式分段解决普通分段的什么问题？

2025-08-18

拆解 Dify 节点：搭建 AI 应用，这些 “积木” 怎么用？

2025-08-02

Dify 技术文档工程实践：如何构建面向 AI 时代的知识系统？

2025-07-30

万字演讲：Dify 插件如何助力 AI Agent 应用开发？

2025-06-26

万字演讲：Dify 插件如何助力 AI Agent 应用开发？

2025-06-17

如何在dify对话中使用表单 Form打造一个可对话的客服工单反馈系统？

2025-05-29

怎么用dify搭建一个工单系统？

2025-05-28

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部