DeepSeek-R1发布后展现出优秀的推理能力和强大的开源生态优势，对此OpenAI在没有提供证据的情况下，指责称DeepSeek在未经其许可的情况下使用模型蒸馏技术“复制”了OpenAI的模型并与其展开“不正当竞争”，这也引起了关于模型蒸馏是否侵犯版权和商业秘密等讨论。
模型蒸馏是成熟的模型压缩和知识迁移技术，通过将大参数教师模型的知识和推理能力转移到小参数学生模型，在不降低模型能力的情况下大幅扩展了模型的适用环境，其核心技术是通过合成数据让学生模型学习到教师模型的输出结果的概率分布，DeepSeek则进一步利用合成数据技术，通过数据增强合成并优化了具有推导过程的思维链语料，使学生模型具备相似的推理能力，从“知识迁移”演进为“能力转移”。
基于上述技术特征，对模型蒸馏的三项法律指责均难以成立。其一，模型蒸馏过程中生成的合成数据不是生成人类可以理解的内容的过程，不构成版权作品意义上的独创性表达。其二，模型蒸馏是一个开放化、合作性的工程过程，即便是OpenAI这样的闭源模型提供者依然支持模型蒸馏，不会以商业秘密为由限制模型蒸馏等二次利用。其三，利用教师模型蒸馏学生模型是互补性的技术创新，并不是对教师模型的市场替代或恶意干扰，不属于不正当竞争行为。
在人工智能持续突破的当下，坚持开源开放降低人工智能技术门槛、推动生态发展促进应用扩散，对于人工智能发展和创新具有重要意义。对于技术的治理应充分认识人工智能技术-社会系统的复杂性，坚持长期主义、积累公共知识、包容创新鼓励试错。
2025年1月20日，DeepSeek发布推理模型 DeepSeek-R1，其性能在多项指标上与OpenAI的推理模型o1不相上下，并采用最低限制的MIT开源协议将其模型进行了开源公开。1月29日，OpenAI通过《金融时报》等媒体指控DeepSeek利用其专有模型来训练自己的开源竞争模型，认为可能构成知识产权侵权。具体而言，OpenAI自称已有证据证明DeepSeek采用了蒸馏技术来进行上述操作，即通过使用更大、更强大的模型的输出来训练较小模型，使小模型能够以更低的成本在特定任务上实现类似的表现。OpenAI认为蒸馏技术是人工智能行业常用的技术实践，但问题在于DeepSeek可能在未经OpenAI授权的情况下，利用这种技术构建自己的竞争模型，这违反了OpenAI的商业条款——要求用户不得“复制”其任何服务，也不得“利用其模型输出来开发与OpenAI竞争的模型”[1]。美国总统特朗普的人工智能顾问大卫·萨克斯则表示，有大量证据表明DeepSeek通过蒸馏技术从OpenAI模型中提取了“知识”（Knowledge）。据外媒报道，OpenAI及其合作伙伴微软已在去年对据信属于DeepSeek的、使用OpenAI API的账户进行了调查，并以涉嫌违反服务条款为由阻止了其访问。[2]
然而在公开指控之后，OpenAI没有进一步采取措施开展实质的调查或诉讼，也拒绝回答或提供更细节的证据资料，但该事件却引发了国内对于模型蒸馏知识产权问题的讨论。有部分观点认为模型蒸馏技术可能构成对闭源模型的商业秘密侵权，或认为闭源模型的输出可能具有可版权性，模型蒸馏存在版权侵权的风险。
本文以下简要分析模型蒸馏的技术特征，从版权、商业秘密、不正当竞争三个方面否定OpenAI针对模型蒸馏的不合理指控，并对开源开放的人工智能发展生态提出政策建议。
模型蒸馏（Model Distillation）是一种模型压缩和知识迁移的技术，旨在将一个大型、复杂且性能优异的教师模型（Teacher Model）中的知识传递给一个较小、计算效率更高的学生模型（Student Model），核心目的是利用教师模型广泛而全面的学习能力，将它学到的知识通过教师模型输出的软标签（soft targets）数据（即概率分布）而非生成结果的硬标签（hard labels）数据，来指导学生模型的训练。通过这种方式，学生模型不仅学习到教师模型输出数据的类别信息，还能够捕捉到类别之间的相似性和关系，从而提升其泛化能力。在工程角度，教师模型作为幕后的导师模型无需上线，真正部署上线进行推理任务的是灵活轻巧的Student小模型，其优势在于能够在不显著损失性能的情况下，显著减少模型大小和计算需求，特别适用于资源受限的设备，如移动设备和嵌入式系统，大幅扩展了模型对使用环境的适配性。模型蒸馏技术伴随大模型的普及趋于成熟，已经形成了多项开源组件和支持框架，如Hugging Face Transformers, Distiller by Nervana Systems, TensorFlow Model Optimization Toolkit等。[3]模型蒸馏的核心是在输入样本通过教师模型的隐藏层和激活函数之后形成软标签，并将同样的输入样本给到学生模型生成软性预测值（soft prediction），将教师模型的软标签作为假定的真实值设置损失函数，通过调整温度参数、损失函数权重等超参数继续训练学生模型，以满足软性预测值和软标签的一致性阈值。与直接使用真实数据（ground truth）的硬标签相比，教师模型生成的软标签不是一个单纯的输出结果，而是包含了对于输入样本的概率分布以及类别之间的对应关系，因此学生模型学习的不是教师模型的结论，而且是教师模型得到结论的理由，即输出结果中结各类别结果的概率分布。此外通过引入温度系数，可以平滑或锐化概率分布，类似于让教师模型讲得更快或更慢，提供更为丰富的梯度信息，帮助学生模型捕捉和学习教师模型的输出细节。模型蒸馏这种基于输出结果分布的大训小方式在避免通过真实数据从头训练的同时，可以保留较高的模型性能，高质量的教师模型和良好的学生模型工程学优化甚至可以在某些任务项目上让学生模型具备更高的性能。Deepseek对模型蒸馏技术的创新点在于进一步优化了用于学生模型训练的教师模型输出数据，通过数据增强合成并优化了具有推导过程的思维链语料（如多步骤推理的CoT语料等），再对学生模型进行微调。该技术利用了推理模型的特点，将教师模型在推理任务中学习到的思维方式通过蒸馏传输给学生模型，使学生模型具备相似的推理能力，从“知识迁移”演进为“能力转移”。利用这种蒸馏方式，模仿教师模型的输入到输出的映射关系，小参数的学生模型也能获得非常高的推理能力，使用DeepSeek -R1推理模型作为教师模型、通义千问7B模型作为学生模型的DeepSeek-R1-Distill-Qwen-7B在AIME 2024基准测试中实现了55.5%的Pass@1，而以通义千问32B作为学生模型的DeepSeek-R1-Distill-Qwen-32B在AIME 2024上实现了72.6%的Pass@1，在MATH-500上实现了94.3%的Pass@1。[4]总体来看，模型蒸馏的核心是合成数据的应用，即在数据层面进行生产和清洗，精选教师模型生成的数据，对学生模型进行优化训练。Deepseek模型蒸馏技术的核心能力来源于80万条合成训练数据，其中包含20W条非推理数据，如事实问题、翻译等，由MoE大模型Deepseek-V3（教师模型A）生成，同时也结合了V3训练本身的SFT数据；以及60W条推理数据，由V3进行SFT和强化学习（RL）训练后得到的模型（教师模型B）所生成，这些训练增强了模型的结构化思维能力。Deepseek团队对教师模型B产生的推理类合成数据采用了“拒绝采样”等处理方法，即每个推理过程中采样模型B的多个回答，只保留正确的答案，确保从模型B中挑选出合格的数据。[5] Deepseek对这80万条合成训练数据有两个重要应用，一是经过两轮的SFT和RL，在V3的基础上训练出了满血版的推理大模型R1，实现了推理能力的向上跃升，二是利用这组数据，对Qwen和Llama系列模型进行SFT训练，实现了推理能力的向下转移。图三 由教师模型生成包含CoT数据的合成数据，用于对学生模型进行优化训练模型蒸馏以迁移教师模型的知识能力为目标，学生模型利用的并不是输出的客观知识结果，而是输出结果的分布特征（即软标签），用于转移推理能力的CoT合成数据则包含步骤推理、答案分布，集中于数学、逻辑等领域，这不是生成人类可以理解的内容的过程，更不构成版权作品意义上的独创性表达。扩大来看，合成数据不受版权保护。我国北互案[7]之后，司法实践对人工智能生成内容提供了有条件的版权保护，并主要按照传统的版权构成要素进行判定：一是模型生成内容需符合文字作品的形式要求，是否具有独创性及是否属于智力成果；二是根据民法主体规范，自然人创造完成应是著作权作品的必要条件。[8]这一版权赋权路径适用于合成数据则并不合理。合成数据技术特点是算法对数据所包含的客观规律的复现（推荐阅读：《合成数据：前世今生》），目标在于模型能力提升，而非人类创作表达或对他人表达的“复制”。作为新型的训练数据类别，合成数据更多承担模型训练优化“中间产品”的属性，无法与模型训练的其他技术剥离，不具备有独立的保护价值，强行套用版权保护框架违背了“创作主体不适格”的法律原则，更带来合成数据的使用壁垒，抑制大模型技术整体创新。（推荐阅读：《合成数据：大模型训练和应用的新方案》）模型蒸馏并不涉及商业秘密。其一，研究论文的详细讨论，以及开源组件和支持框架的高度适配，证明模型蒸馏已经是现有技术。其二，模型蒸馏是一个开放化、合作性的工程过程，所使用的教师模型输出结果的分布特征来自于蒸馏模型训练者提供的输入数据，需要训练者在训练过程中不断调适优化，闭源模型代表者OpenAI为训练者提供了使用GPT-4o等教师模型合成的训练数据存储、评估、过滤等工具，训练者有权管理教师模型生成的数据，也可以提供自己的数据[9]。OpenAI并未主张对模型蒸馏涉及的数据保密，而是承认模型蒸馏步骤繁多、组件独立且容易出错，其模型蒸馏组件旨在整合合成数据存储、评估、微调等工具，让模型蒸馏的过程对开发者更为友好。[10]即便是OpenAI这样的闭源模型提供者依然支持模型蒸馏，为下游利用创设开放有利的环境，不会以商业秘密为由限制模型蒸馏等二次利用，更不用说一直坚持模型开源、能力开放的开源模型提供方了。模型蒸馏作为模型发展的一种技术路径，其主要是通过算法与工程实现模型知识能力的转移，属于技术创新的自然延伸，此外教师模型规模大、能力强，对执行环境要求高，学生模型尺寸小、有特点，环境适用性强，二者利用方式和受众互补，利用教师模型蒸馏学生模型并不是对教师模型的市场替代或恶意干扰，不属于不正当竞争行为。从另一个角度来看，大模型的能力很大程度上源于公共知识的汇入，保持适当的开放性是大模型持续发展的必然要求。模型通过获取和学习世界知识并实现智能的涌现，模型输出中反映客观规律和公共知识的部分（例如模型蒸馏主要使用数学推理、逻辑规则等领域的合成数据）也应持续保持开放，不应成为限制竞争、抑制创新的私有权益。人工智能的发展从始至终都是众人拾柴火焰高的过程，商业利益的保留应限定于规制恶意仿制、刻意混淆等实质不正当竞争行为，同时对影响技术创新的限制保持谨慎，避免不加区隔地禁止二次验证与开发，或以违约、侵权为威胁，阻碍合理的技术使用。坚持开源开放降低人工智能技术门槛、推动生态发展促进应用扩散，对于人工智能发展和创新具有重要意义。模型蒸馏从传统的“知识迁移”进阶到“能力转移”，结合公共化的算力资源和开源开放的模型生态，使大模型技术和需求场景快速适配，模型能力在各个领域迅速扩散。基于“通用性技术扩散理论”，对于国家间的科技竞争，技术创新仅仅是开始，真正的竞争优势来自于如何有效地将这些技术扩散开来，渗透到社会生产的方方面面[11,12]。对于合成数据、模型蒸馏这一类降低模型使用门槛、促进模型能力扩散的伴生性、支撑型技术，和模型本身一样都需要获得发展，对此应鼓励积极利用而非先行质疑。技术治理应充分认识人工智能技术社会系统的复杂性，坚持长期主义、积累公共知识、包容创新鼓励试错。人工智能技术发展如同“在夜晚的迷雾中开车，只能看到前灯灯光所及的地方”，若提前预设目标、过早收敛技术路线，或是简单套用传统制度框架来评价新的技术，则容易忽略存量现象的多样性和增量现象的特殊性，通过简化复杂事物的要素数量和多余信息，来保持形式推理的纯粹性，将限制技术创新的多发性[13]。面对人工智能技术发展和社会影响这一复杂系统，需要以长期主义，为多元技术路线保留试错空间，鼓励开源生态包容多样化的技术方案，允许技术在动态竞争中自然发展。技术生态的繁荣从来不是自上而下进行规划的结果，而是开放规则下自组织涌现的必然。只有在开放的制度环境下，来自世界各国科技产业界的各种新理念和新尝试，才都可能得到检验的机会，由此形成的多技术路线之间相互竞争、相互促进的良好生态，才可能保持在科技前沿领域的活跃度和创造力。
粤ICP备14082021号
免费POC，
零成本试错
