2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

LLM生成的分段总不满意?实践带你实现文本分段可视化

发布日期:2025-09-05 19:12:29 浏览次数: 2066
作者:神州数码云基地

微信搜一搜,关注“神州数码云基地”

推荐语

还在为LLM生成的文本分段效果不佳而烦恼?这篇实践指南教你如何用React DnD+虚拟化技术打造可视化编辑系统,轻松优化分段质量。

核心内容:
1. 系统概述:解决文本分段可视化、重叠处理、交互调整等核心问题
2. 技术架构:三层渲染结构设计详解(背景层/DnD拖放层/视觉反馈层)
3. 性能优化:虚拟化技术处理长文本数据的关键实现

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

基于React DnD + 虚拟化技术的文本分段可视化


在自然语言处理领域,文本分段是一项基础且关键的任务。随着大型语言模型(LLM)的发展,自动化文本分段已成为可能,但这些模型生成的分段结果往往需要人工审核和调整。


本文介绍一个基于React技术栈开发的交互式文本分段可视化与编辑系统,该系统允许用户直观地查看、选择和调整大模型生成的文本分段,从而提高分段质量和准确性。


Part1

系统概述


本系统主要解决以下问题:


1. 可视化展示原始文本及其分段结果


2. 处理分段之间可能存在的重叠区域


3. 通过直观的交互方式调整分段边界


4. 高效处理大量文本数据的性能优化


系统采用React框架结合React DnD(Drag and Drop)库实现,并通过虚拟化技术处理大型文本数据,确保在处理长文本时保持流畅的用户体验。



Part2

技术架构


核心组件


系统的核心组件包括:


1. TextRangeSelector:主容器组件,负责整合所有子组件并提供DnD上下文


2. Renderer:负责渲染文本和分段的可视化表示,包含三层结构


3. BackgroundLayer:处理文本分段的背景色渲染(第一层)


4. DndDropLayer:处理拖拽目标区域(第二层)


5. DndDragLayer:处理拖拽操作的视觉反馈(第三层)


6. NewTRSContext:提供全局状态管理,存储原文和分段数据


三层渲染结构


系统采用三层结构渲染每个文本段落,确保清晰的视觉表现和精确的交互控制:


return (
  <div style={style}>
    {/* 第一层:背景层 - 负责显示分段的背景颜色 */}
    <div className={clsx('absolute left-0 top-0 max-w-full')}>
      {parts && <BackgroundLayer parts={parts} />}
    </div>

    {/* 第二层:DnD Drop层 - 负责处理拖拽放置 */}
    <div
      className={clsx(
        'absolute left-0 top-0 break-all',
        // !isDragging && 'pointer-events-none',
      )}
    >

      <DndDropLayer text={text} startPos={startPos} />
    </div>

    {/* 第三层:DnD Drag层 - 负责处理拖拽视觉反馈 */}
    <div className={clsx('absolute left-0 top-0', 'pointer-events-none')}>
      {showDragLayer && <DndDragLayer parts={parts} />}
    </div>
</div>
);


数据模型


系统处理两类主要数据:


1. 原文数组:包含完整的文本内容,按段落分割


2.分段数据:由大模型生成的文本分段信息,每个分段包含起始位置(s)和结束位置(e)


分段之间可能存在重叠,系统需要正确处理这种情况并提供直观的可视化表示。



Part3

实现细节


虚拟化列表实现


为了高效处理大型文本,系统采用react-window库的VariableSizeList组件实现虚拟化列表,只渲染当前视口中可见的文本部分。这大大提高了系统在处理长文本时的性能。


return (
  <List
    ref={variableListRef}
    className="!h-full px-6 py-6 [&>:first-child]:relative text-[14px] leading-[30px] !overflow-y-scroll"
    itemSize={getItemSize} // 每行高度
    height={height} // 父容器高度
    itemCount={chunks.length} // 总块数
    width="100%"// 宽度适应父容器
    estimatedItemSize={30
    onItemsRendered={({
      visibleStartIndex,
      visibleStopIndex,
    }: {
      visibleStartIndex: number;
      visibleStopIndex: number;
    }) => {
      // 更新当前可视区域
      console.log('range:', visibleStartIndex, visibleStopIndex);
      setNewLineRange(visibleStartIndex, visibleStopIndex);
    }}
    innerElementType={CustomInnerElement}
  >
    {rowRenderer}
  </List>
);


系统动态计算每行文本的高度,确保虚拟列表能够准确渲染不同长度的文本段落:


// 动态计算行高
const getLineHeight = (line: string, index: number) => {
if (!virtualListRef.current) return30;
console.log('计算行高', index);

const tempElement = document.createElement('div');
  tempElement.style.position = 'absolute';
  tempElement.style.visibility = 'hidden';
  tempElement.style.whiteSpace = 'pre-wrap';
  tempElement.style.width = '100%';
  tempElement.style.fontSize = '14px';
  tempElement.style.lineHeight = '30px';
  tempElement.style.wordBreak = 'break-all';
  tempElement.innerText = line;
  virtualListRef.current.appendChild(tempElement);
const height = tempElement.getBoundingClientRect().height;
  virtualListRef.current.removeChild(tempElement);

return height;
};


三层结构详解


🔹第一层:背景层(BackgroundLayer)


背景层负责根据分段数据渲染不同颜色的背景,直观地展示文本的分段情况。系统使用不同的颜色区分奇数段、偶数段、重叠区域和空隙区域:


return (
  <span
    className={clsx(
      'cursor-pointer break-all',
      isGap && 'bg-[#276DDC4D]'// 激活状态
      !overlapped && isEven && 'bg-[#0AA6A44D]'// 偶数区域
      !overlapped && isOdd && 'bg-[#FF61614D]'// 奇数区域
      overlapped && 'bg-[#B6C3C3] cursor-default'// 重叠部分
    )}
    onClick={() => highlight(part)}
  >
    {partText}
  </span>
);


🔹第二层:DnD Drop层(DndDropLayer)


DnD Drop层负责处理拖拽目标区域,允许用户将游标拖放到文本的特定位置。该层在拖拽过程中接收游标的放置操作,并更新分段的边界:


function DndLayer({ text, startPos }: { text: string; startPos: number }{
const { handleDropped, isDragging } = useContext(NewTRSContext);

const onDrop = (pos: CursorPosition, newPos: number) => {
    // const p = newPos + lineIndex * LineCharCount;
    // setIsDropping();
    handleDropped(pos, newPos);
  };

console.log('text:', text);
return (
    <>
      {/* 只有在拖拽的时候才渲染 */}
      {isDragging
        ? text.split(splitter).map((char, index) => (
            <Char key={index} index={index + startPosonDrop={onDrop}>
              {char}
            </Char>
          ))
        : null}
    </>
  );
}


为了优化性能,DnD Drop层只在拖拽过程中渲染,避免不必要的DOM元素创建。


🔹第三层:DnD Drag层(DndDragLayer)


DnD Drag层负责处理拖拽操作的视觉反馈,显示当前选中分段的游标,并在拖拽过程中提供视觉指引:


const DndDragLayer = ({ parts }: { parts: SplittedByLineTextRange[] }) => {
  // TODO: 注意这一层只负责 Cursor 的拖动, 因此 所有文字是透明的并且不响应事件
  const { activatedObject } = useContext(NewTRSContext);

  return (
    <>
      {parts.map((part, index) => {
        return (
          <Fragment key={index}>
            {activatedObject?.activatedRange &&
              activatedObject.activatedRange.s === part.s && (
                <CursorGhost
                  pos={{
                    index: activatedObject.index,
                    type: 's',
                    pos: part.s,
                  }}
                />

              )}
            <span className="text-transparent break-all">{part.text}</span>
            {activatedObject?.activatedRange &&
              activatedObject.activatedRange.e === part.e && (
                <CursorGhost
                  pos={{
                    index: activatedObject.index,
                    type: 'e',
                    pos: part.e,
                  }}
                />

              )}
          </Fragment>
        );
      })}
    </>
  );
};


DndDragLayer组件显示两种游标:起始位置游标和结束位置游标,用户可以拖拽这些游标来调整分段的边界。


拖拽实现细节


系统使用React DnD库实现拖拽功能,主要包括以下组件:


1.CustomInnerElement:定义拖拽源,使用 useDrag钩子创建可拖拽的游标


2.Char:定义拖拽目标,使用useDrop钩子接收游标的放置操作


3.CursorGhost:提供拖拽元素的视觉反馈


const [{}, startDrag, startPreview] = useDrag(
  () => ({
    type: 'CURSOR',
    item: () => {
      return {
        index: activatedObject?.index,
        type: 's',
        pos: activatedObject?.activatedRange.s,
      };
    },
    collect: (monitor) => ({
      isDragging: !!monitor.isDragging(),
    }),
  }),
  [activatedObject],
);


当用户拖拽游标时,系统会更新全局状态中的分段数据,并重新渲染视图以反映变化。



Part4

性能优化


系统在处理大型文本时面临性能挑战,为此采取了以下优化措施:


1. 虚拟化渲染:只渲染当前视口中可见的文本部分


2. 条件渲染:DndDropLayer只在拖拽过程中渲染


3. 动态高度计算:准确计算每段文本的高度,避免渲染错误


4. 状态管理优化:避免不必要的状态更新和重渲染


这些优化措施确保系统在处理大型文本数据时保持流畅的用户体验。



Part5

用户体验设计


系统的用户界面设计遵循以下原则:


1. 直观性:使用颜色编码直观地表示不同分段和重叠区域


2. 响应性:提供即时视觉反馈,增强用户操作的确定性


3. 一致性:保持交互模式的一致性,降低学习成本


4. 容错性:允许用户撤销操作,提高容错能力


三层结构的设计确保了清晰的视觉表现和精确的交互控制,使用户能够轻松地查看和调整文本分段。



Part6

效果展示


1: 分段色块,选中分段之后显示对应分段的边界游标和分段操作菜单



2:推拽游标,实时显示拖拽到的目标位置



3:修改边界,放下拖拽的游标,就会正式修改分段边界




Part7

结论


本文介绍的基于React DnD的文本分段可视化与交互系统为大模型生成的文本分段提供了直观、高效的人工审核和调整工具。系统采用三层结构(背景层、DnD Drop层和DnD Drag层)实现清晰的视觉表现和精确的交互控制,结合虚拟化列表技术处理大型文本数据,确保在处理长文本时保持流畅的用户体验。


通过结合现代前端技术和用户体验设计,系统实现了复杂文本分段任务的简化,提高了分段质量和效率。该系统不仅解决了当前文本分段处理的实际需求,也为未来更复杂的内容结构化处理提供了技术基础和实践经验。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅