当了一年多的AI提示词工程师后的感悟

个人理解提示词工程为什么重要？

引言：它能干什么？这个问题我很慎重，对于没有技术背景的我给CTO分享这个问题，我觉得有些僭越。你们的理解肯定要比我深刻的多了去了，那我谈什么呢？谈一点自己的想象

未来的想象，大模型+提示词+工程+产品人不需要再写执行的代码，通过提示词给出更高维度的指令控制即可 未来不需要原型工具了，axure，墨刀，figma，sketch，左侧提示词（无需打字输入而是语言对话，右侧直接出来产品或者工程的预览。（已经实现，在claude中)

实时生成代码（未来的执行代码是 ai 毫秒级生成的，且根据偏好和用户场景实时定制，那么谁给 AI 的这个高级的指令，是提示词）claude3.5sonet，前端用户体验+Stable Diffusion扩散模型的comfyUI后端效率，text2code、text2sql、text2f(x)、text2all_projext(看这剧关键的话，我们先针对需求进行梳理和讨论，暂时不要进入到具体的实现

提示词编排也将符合摩尔定律，越来越复杂，所以编排平台的进化，各种提示词技巧、编排思想的集成将爆发式的开展https://cloud.dify.ai/appshttps://www.coze.cn/

画布模式：

文档模式：https://app.wordware.ai/org/steven-wang-409a1f/proj_36ae21a2-7164-478e-8b3b-cbe869d67135/files?promptId=ae09b729-b972-4885-8fa6-3f92e6c382f4

我体会的提示词工程岗位能力图谱

一个好的提示词工程要比产品能力更更加多元，在高人效的前提下讲：

业务能力： 懂业务，了解业务场景，有业务感觉，快速定位关键问题。我的三板斧：背景、收益、业务知识（know how），不懂业务很难写出符合业务细节的提示词，技术边界与业务边界的把握，业务目标是否清晰。

模型&算法知识：懂大模型，对各模型厂和 Agent 编排平台熟悉（了解主流算法，阅读核心几篇论文我认为应该做）了解 AI 市场，实时价格成本，市场行情做到心中有数，测试和解决业务问题是能够选择 ROI 高的解决方案，ROI成本和收益，通过对市场成本的了解能够创造何种业务价值。成本和效果（模型能力的提升）之间提

示词技能： 提示词编排要动workflow、 agent 框架，会用 function call 、Rag、需要有大模型+小模型去解决问题的目标导向思维。数据、策略产品技能： 提示词优化本质与策略搜广推类似，casebycase调优，无论是问题洞察数据分析、有效性测试方案、badcase调优，模型训练都离不开数据的工作（准备数据集），数据获取、数据清洗、数据整理、数据标注、数据统计、数据分析。

产品能力： 产品的核心能力是管理能力，管理需求，管理优先级，项目管理，沟通能力。

工程技能&技术知识： 首先提示词的核心是提供AI服务，价值链与工程相连，所以接口设计，看日志调，自动化测试技能必不可少。什么是JSON，什么是对象、什么是数组字符串。如何写测试脚本，如何写接口调用脚本。后端服务是怎么回事，前端具备哪些功能是如何实现的要理解。

提示词专业技巧分享

忽略否定条件：“没有停车费”这一否定条件，导致我行跳过

属于收取附加费，但模型会把 "乘客描述：没有停车费，私自加价" 识别成 "司机索要额外费用" 一个清晰的上下文描述逻辑结构严谨，层级分明，颗粒度一致随便去给一个任务，跟编排的提示词差别非常大。结构敏感

查日志：查日志很重要，理解为什么以前技术人员说80%实践在debug。

考验系统性架构提示词工程的能力去除幻觉：禁止捏造，一切基于客观事实，如果你给大模型留空，他就会完形填空。

示例的重要性无需多言：zero-shot、one-shot、few-shot。从穷尽到抽样，相信模型能找到规律。

多用逻辑性结构性语言描述：结合COT思想，多步骤判断，甚至输出运算过程！大模型注意力机制的把握，掐头去尾、标签包裹、注意多重否定

要了解tokens：知道tokenizer是如何工作的。了解自己服务输出和输入的tokens。一方面考虑成本，另一方面计算时延。（时延决定你服务的可用性和测试的时效性）提示词格式，不同模型有不同的敏感性取决于模型与训练时使用的数据，例如markdown格式是一个公认敏感性格式，还有例如claude对xml标签语言更加敏感。

模型理解：在context以外的逻辑层，温度、top p、重复性惩罚的使用。版本管理：随着提示词编排越来越复杂，版本的管理包括（单篇提示词、多编排节点提示词、工作流、知识库）

管理工作迭代机制：服务交付后，根据线上反馈定期迭代升级服务，通过各种方式调优线上指标和解决边缘问题。

如何协作：多人写作编辑提示词是未来的趋势，随着提示词越来越庞大，编排复杂度升高，多人写作编排提示词肯定势在必行。体现在编排平台的能力上。

前沿提示词研究，多关注（科研汇报、论文、AI行业的顶尖认识和一线实践者）最佳实践、关注行业应用中、实践者大会议、落地项目案例有很大收货。同行交流提示词思想工作总结