大模型如何提升研发效能？8个“编码+测试”领域大模型实践

随着大模型技术的飞速发展，大模型在智能研发领域的应用逐渐成为研究和实践的热点，很多企业的IT部门都希望使用大模型来提高开发者的生产力。

从软件工程生命周期来看，开发和测试占如软件工程生命周期的很大一部分时间，基于大模型的智能编码工具、智能测试工具可以有效帮助开发人员提升过程产物输出的效率及质量，实现整体研发效能的提升。

根据沙丘智库发布的《2024中国人工智能编码助手市场指南》，人工智能编码助手是在大模型的基础上使用数百万行优秀的代码数据（包括开源代码库、企业私有代码库等）预训练而成，帮助开发人员编写代码。开发人员使用自然语言和代码片段相组合的方式提示编码助手生成新代码。人工智能编码助手还可以分析、解释、调试和重构代码；生成文档；以及在不同的编程语言之间进行转换。

根据沙丘智库发布的《2024中国AI驱动的智能测试工具市场指南》，AI驱动的智能测试工具是指基于人工智能技术实现持续、自我优化和自适应自动化测试的工具，其功能涵盖软件测试生命周期的各个环节，包括测试场景和测试用例生成、测试自动化生成、测试套件优化和优先级排序、测试分析和缺陷预测以及测试工作量估算和决策制定。

通过沙丘智库对大模型市场的长期跟踪，当前，智能编码工具在市场上呈现出“百花齐放”的状态，企业已普遍认可大模型在智能编码领域的应用潜力。很多企业也已经在这一方向上取得应用效果，例如广发银行通过IDE插件或集成开发工具，实现代码提示、生成、转换、注释、搜索和审核等功能，大模型辅助编码功能在多个系统和应用中得到实践，编码效率平均提升了15%~20%，代码质量与资深开发人员相当。

智能测试工具目前还处于孵化和快速成长的阶段，一些头部银行和互联网大厂在探索这一方向，开发垂域测试大模型（例如中信银行“第二大脑”、邮储银行“研发测试大模型”等）以及智能测试工具（百度智能测试助理TestMate、蚂蚁集团TestAgent等）。

沙丘智库通过研究中国工商银行、众安保险、喜马拉雅、贝壳找房、中国邮储银行、百度、华为、腾讯等8家企业在“编码+测试”领域的大模型应用探索，旨在为其他企业的“大模型+智能研发”探索提供参考。

工商银行近年来一直在推动智能研发体系建设，期望将大模型应用于需求设计、编码、测试、发布、迭代的代码开发全流程，提高研发效能。

大模型与研发体系的结合是未来智能研发的重要趋势，工商银行试验性引入部分开发人员需求强烈的大模型能力，建立智能研发技术先导体验机制，目前已经初步具备单元测试辅助生成、代码注释生成、代码分析优化、跨语言代码翻译、代码分析优化等能力。

完整内容：中国工商银行智能研发场景的大模型探索实践

考虑到模型封闭、代码安全、企业代码集成等问题，众安保险自研代码助手DevCopilot，具备的核心能力包括代码生成、单测生成、生成注释、代码修复、Code Review、性能检查、代码解释，实现辅助代码开发各环节。

完整内容：众安保险代码助手Devpilot实践

传统研发面临的痛点包括低效、重复、精力分散、质量不稳定，特别是在编码方面，存在重复编写非核心业务代码、代码质量不一、学习成本高、测试用例编写成本高、测试覆盖率低和软件质量下降等问题。

喜马拉雅推进AI智能编码助手实践，并通过推理加速、提示词优化、RAG优化、工程层面联邦查询以及经验优化等方式提高AI智能编码助手的效能，显著提升了代码生成的效率和质量。

完整内容：喜马拉雅AI智能编码助手实践

贝壳AI研发助手CodeLink包含AutoComplete代码补全、CodeChat结对编程助手和WorkBench私域工作台三个部分，旨在提升研发效率和编程体验。

CodeLink在内部正式推广后，覆盖90%的研发人员，多语言的综合采纳率为23%、AI代码占比达到12%。

完整内容：贝壳AI研发助手CodeLike实践

邮储银行开发“研发测试大模型”，打造端到端智能研发方案“智能研发测试助手”，并将智能研发测试能力融入DevOps平台、测试平台，实现测试流程的自动化和智能化，提升研发效能。

智能测试服务覆盖测试全链路的典型场景，例如：

• 测试分析：根据业务需求、需求文档内容自动生成测试要点、测试流程图，辅助测试人员提供测试设计思路；

• 测试用例设计：通过业务规则、交易链路、测试资产（专项知识、高质量用例等）生成测试需求用例，包括用例步骤、预期结果，部分替代了传统的手工编写方式；

• 测试数据生成：通过规则文档、计算公式文件等内容，也可以通过输入业务逻辑、数据生成规则、计算公式、条件约束等，结合后台已定制化的Prompt模板，生成相应的测试数据；

• 测试智能问答：实现测试相关知识的智能问答，减少文档查询时间。

完整内容：邮储银行智能测试场景大模型实践

百度开发了智能测试助理TestMate，服务于百度内部的智能测试工作。TestMate除了具备大模型的基础能力（意图识别、记忆管理、多轮交互）外，还内置了通用的测试领域知识和原子测试能力，并允许用户进一步通过能力中心自定义 Prompt、自动化用例模板、业务私域知识，自定义上下游能力组合并进行串联等，以打造业务专属的智能测试助理。

当前，大模型虽然是提效过程中的重要一环，但还需要辅以更多的工程化实践以及产品化、可视化形态。因此，在产品形态方面，智能测试助理TestMate为Prompt的输入/响应提供了丰富的可视化交互组件，通过Web UI嵌入的方式与需求管理平台用例管理平台、接口管理平台等基础设施进行联动，支持对话、智能体、智能体 Flow 等多种在线/离线生成。

完整内容：百度智能测试助理testmate建设实践

华为选择大模型辅助测试自动化代码生成作为大模型在智能测试领域应用的突破点，首先使用SFT调优方案，落地场景为老特性防护网补齐，但存在时间间隔导致无法写新特性；然后，使用RAG方案实现分钟级新特性编写；再次，进一步实现无需写样例脚本，直接通过AW生成。从整个方案迭代方向看，AI自动生成的比例越来越大。

截止2024年6月底，大模型辅助测试自动化代码生成的应用人数为近3k人，覆盖60+产品，测试自动化生成的代码量40+万行。

完整内容：华为基于LLM的测试自动化代码生成实践

腾讯基于大模型能力，将测试用例作为大模型在质效提升领域的切入点，开发Case Copilot，提升测试用例质量及编写效率，不断拓展能力边界，帮助业务解决质效问题，推进业务质量内建，提升研发效率和产品质量。

完整内容：腾讯测试用例场景大模型实践