◉ 金融企业落地DeepSeek应用过程中会遇到哪些难点？如何解决？DeepSeek引发新一轮的热潮，推动大模型从辅助角色成为各个业务的“刚需”，成为热门话题。然而，在应用过程中也面临着数据安全、模型准确性、人才短缺和系统集成等挑战。以下分享均来自社区同行实践中的观察和经验，希望能为大家提供解决思路参考。
@faiy0000 中信建投证券 信息分析/架构师：
1、其实对于落地DeepSeek本身没有太大的难点吧；
2、我理解的难点是利用DeepSeek做相关的应用场景开发和应用场景落地。目前遇到的问题主要有幻觉问题，算力不足，比如对于长尾客户，不能满足大量的tps的要求，这样可能只能限制客户端调用量。
3、还有一个比较大的问题是合规问题，合规认为某些应用上大模型没有透明的决策路径，对于结论的合理性，很难清晰度解释。
解决方案：算力不足，除了增加算力或者租借算力，没有很好的解决方案。其中一种可能是限制客户的使用量，或者有限范围内开放使用。 合规问题，可以通过与合规老师充分沟通，制定一些模板，通过模板的定制限制大模型的自我发挥。
@jillme 某金融机构 CIO：
个人感觉落地困难除了很多人提到的数据安全，法律合规和需要大量人员模型训练的准确性之外。还有几个也是落地中遇到的难点。
1、选择合适的应用场景，虽然网上已经有很多场景，但是除了风控，客户画像营销，辅助客服这些常见场景外，企业构建大模块肯定是希望在更多的场景内有应用落地，扩展更多的应用场景并能在训练和应用中适应本企业的战略需求服务，是各个单位面临的巨大挑战。
现在的解决思路还是靠借鉴成功经验与小步试错并行，成立各个专项团队去调研落地场景。
2、交互方式匮乏，目前大量的还是文本的方式交互，实际上用户期待的是能够理解专业语境、提供精准、直观解决方案的助手，简单的对话和文字提示还是直观度和方便度不足。所以在大模型外，构建智能体的应用需要同步进行，把单一对话到多维交互，从被动应答到主动服务，从通用模式到专业适配，构建多维交互模式。
但是目前智能体的开发和适配落地成熟度还远远不足，也少有能满足专业领域的智能体。这个我感觉任重道远，需要企业自己打造科技队伍或者定向采购实现。@全国性股份制商业银行行业用户：
DeepSeek等大模型在金融业落地主要有以下几个问题：
1、算力投入大。目前大模型的发展依然遵循规模效应，目前的DeepSeek-R1满血版为671B，单个模型部署就需要几台算力服务器。即使32B的量化版，部署一个支持20并发的实例也需要数十万的算力硬件。因此金融行业实现大模型落地应用，需要解决算力投入的问题。解决方案是金融机构在决策层要了解并意识到算力资源已经是IT基建的一部分，需要持续加大投入。
2、投入产出尚不明显。DeepSeek等大模型确实具备很强的语言理解、推理和生成都能力，但目前金融业高价值的落地场景不多，依然停留在摘要、智能问答、写作等场景，对金融业的核心业务支持有限。这个问题也会制约管理层加大算力投入的决心。解决方案是需要银行业务侧人员主动参与场景探索和落地，挖掘或开创更多面向核心业务的大模型应用场景，以找到投入产出的平衡点。
3、大模型知识点实时性问题。当前金融业的大模型基本以私有化部署为主，缺乏联网能力的大模型在知识的时效性上存在明显的短板。另一方面，互联网能给大模型提供同一问题更多维度的信息，也能有限制低大模型的幻觉。鉴于金融行业严格的信息安全管控，大模型在联网信息搜索上仍有诸多限制，需要金融机构针对大模型的技术特性，构建全面的信息安全管控体系，以支持大模型安全可靠地访问和使用互联网信息。@allanrong 浙商银行 主管：
其他同业已经说明很多问题，我主要补充两点：
银行将面临集成与运营挑战，将大模型集成到银行现有的IT系统和业务流程中可能面临技术兼容性和操作复杂性的问题。大模型的应用需要与现有的业务流程相结合，这可能涉及到系统升级、流程调整等挑战。在私有化场景中，我们银行可能需要投入大量时间和成本来确保大模型与内部系统的无缝对接。
建议是与实践经验的厂商合作，或共建实验室来降低风险。
银行将面临在其他场景中更加低的“幻觉”容忍度，多项实证研究发现，通用 LLM 在财报、利率、法规等文本领域的幻觉概率显著高于15%，远超金融业务可承受上限。
建议通过人工复核的方式来避免模型的“胡说”，避免业务风险。@卡尔 华泰证券 研发工程师：
1、DeepSeek落地有几个需要考虑的点：
1）本地化部署DeepSeek-R1满血版，模型容量太大，没有足够的GPU资源不敢轻易尝试。
2）使用互联网DeepSeek-R1 SaaS服务，可能存在数据安全性风险。
3）如何引入领域知识，如何防范恶意回答。
4）如何衔接自研组件。
2、我个人觉得金融企业要落地Deepseek应用：
1）首先明确业务场景，是否存在数据安全，是否可以借助外力，例如互联网大模型开发平台等等。
2）如果需要本地部署大模型，我个人推荐的方式是使用DeeSeek-R1-distill的小模型。
3）涉及领域知识，可以自建知识库，用RAG完成模型微调等。
4）涉及自研组件的调用，可以考虑使用MCP方式衔接各组件。
5）构建业务场景的智能体：可以考虑流程编排，可以参考open-Manus框架，自建编排逻辑。
3、经验之谈，DeepSeek采用MOE架构，本身是无法避免对相同问题回答相同结果的，可以自建一层cache；DeepSeek构建领域智能体，可以先做一个意图识别，再进入每个子智能体；DeepSeek的微调领域数据集训练也需要大量GPU，可以使用distill小模型微调，微调时尽量少层和小权重，防止过拟合。@朱向东 某银行 高级工程师：
1、数据隐私与合规性要求难点，金融行业涉及大量敏感数据（如客户个人信息、交易记录、合同内容），需严格遵守《数据安全法》《个人信息保护法》及金融监管政策。DeepSeek大模型训练和推理可能涉及数据上传至云端或外部处理，存在数据泄露或违规风险。另外，监管要求模型输出需可解释、可追溯，DeepSeek的“黑箱”特性可能难以完全满足。解决思路是采取本地化部署，对数据脱敏与加密，采用差分隐私技术或联邦学习，确保模型训练不直接接触原始数据。增强可解释性，加强合规审核，制定AI治理框架，确保模型部署符合监管标准。2、高质量数据获取与清洗难点，金融数据复杂多样（如结构化交易数据、非结构化合同文本、语音客服记录），且存在数据孤岛现象（部门间数据割裂）。DeepSeek模型需高质量、标注完善的训练数据以提升准确性，但金融企业的数据标注成本高、周期长。数据不一致或噪声（如格式不统一、缺失值）可能导致模型“幻觉”或输出错误。解决思路是采取数据整合与治理，建立统一的数据治理框架，制定数据标准（如字段格式、命名规范），减少数据孤岛。采取自动化标注技术，结合少样本学习，用小规模高质量标注数据引导模型自动标注大规模数据。采用数据增强技术补充小样本数据，提升模型在稀疏数据场景的泛化能力。建立数据闭环，结合强化学习微调模型，持续优化输出准确性。3、模型定制化与场景适配难点，金融场景（如信贷审批、欺诈检测）高度专业化，通用DeepSeek模型可能无法直接满足特定业务需求。不同银行的业务流程、数据结构差异大，模型需深度定制，技术门槛高。中小银行技术团队较弱，缺乏模型调优和部署经验。解决思路是利用DeepSeek开源特性，结合行业语料库（如银行业术语库、监管文件），通过LoRA低成本微调模型。采用微服务架构，将模型功能解耦，针对不同场景灵活组合。中小银行可与技术供应商合作，利用预训练模型和开发工具，降低技术门槛。还可以结合RAG技术，实时检索外部知识，弥补模型知识局限。4、算力资源与成本控制难点，DeepSeek虽相较其他大模型（如GPT-4）训练成本低，但金融场景需频繁推理和实时处理，仍需较高算力支持。中小银行预算有限，难以负担高性能GPU集群或云服务费用。模型部署后维护成本（如更新、监控）较高。解决思路是通过模型剪枝、量化（如INT8量化），进一步压缩模型体积，适配低算力设备。根据业务需求动态分配算力，核心任务本地化，非核心任务上云（但要注意安全风险）。5、模型幻觉与可靠性难点，DeepSeek可能生成不准确或逻辑错误的输出（幻觉），在金融场景（如信贷审批、合同审核）可能导致严重后果。模型对金融领域新政策、新场景的适应性不足，需频繁更新。解决思路是引入多模型验证（如结合规则引擎和小模型），对DeepSeek输出进行交叉检查。通过在线学习或增量训练，实时更新模型知识库，应对政策变化。同时构建用户反馈系统，优先优化高频错误场景。结合外部知识图谱，提升模型对专业领域的精准性。@jinhaibo 昆仑银行 技术管理：
难点一：算力不足方面，大模型部署、训练、推理都需要GPU算力资源，为了能够商用部署对于资源的需求会出现一个激升，如何在算力有限的情况下开展探索和落地。
解决思路：可以从两个方面来考虑，一是在场景选择上对算力需求进行评估，优先选择算力投入和效益产出明显的场景进行落地；二是利用集团大模型能力，搭建智能体，采用大小模型相结合，融合RAG检索模块，通过与行内系统交互获取客户画像、账户信息等信息，结合集团DeepSeek推理能力来满足场景算力需要。
难点二：数据安全方面，银行是一个强监管的行业，且存在大量敏感客户信息，在合规经营的要求下需要确保数据安全和隐私保护。
解决思路：基于这种监管背景下，大模型的使用和场景落地必然会受到一定约束，在部署上进行私有化部署，在模型训练上，控制数据使用范围，对敏感数据进行二次加工标签化，对数据进行分类分级管理，经过授权的人员、系统才能进行数据使用。
难点三：模型准确性方面，大模型厂商众多、更新迭代快、表现情况各异，导致不同行业和场景产出的结果具有一定不确定性。
解决思路：需要紧跟市场趋势，不断探索新的产品，在具体场景中验证哪个模型准确性更高，产出的答复更贴合需求，同时在大模型使用中引入人工复核和质检，使大模型作为员工的助手，提升效率的工具，而非完全替代员工。
粤ICP备14082021号
免费POC，
零成本试错
