推荐语
在硬件限制下，对两个32B参数模型的深度比较分析。
核心内容：
1. 4-bit量化加载模型对比与参数设置
2. 模型输出质量和稳定性分析
3. 不同问题下两个模型的回答差异与性能表现
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
由于硬件限制，让结果跑得顺畅一点，选择这两个32B参数的模型都以4-bit量化的方式加载运行，，同时将关键参数均设置为官方网站上建议的值，比如temperature设为0.6。为了确保不发生输出内容截断的情况，两个模型加载时设定的输出最大tokens为32K，也符合正常的思维链输出需要。同时推理代码也采用相同的代码，只针对模型本身的差异做调整，如路径不同。经过这样的比较就更加客观一点，更具有可比性。
这是DeepSeek-R1的Qwen-32B蒸馏模型加载完成后的显存占用情况如下，与上次我介绍的QwQ-32B模型加载后的情况基本一致。DeepSeek-R1-Distill-Qwen-32B回答
DeepSeek的回答其实不太稳定，有的时候会突然出现一个很简短的输出，也就是基本没有思考，而且结果还是错的。上图看到的是第二次生成的内容。这种不稳定在后续的测试中也经常出现。比较回答的过程和内容来看，DeepSeek更侧重于多种计算方式比较结果是否相同来确认最终结果；而QwQ则更侧重于对题目中各个语素的理解是否存在不同，甚至会虑用户输入的笔误情况。DeepSeek-R1-Distill-Qwen-32B回答
DeepSeek-R1-Distill-Qwen-32B的回答没有抓住问题的关键在于“因果”，原命题出现“因果倒置”的情况，但DeepSeek-R1-Distill-Qwen-32B没能在寄指出来。
QwQ-32B则明显指出了“因果倒置”，这是明显优于DeepSeek的。DeepSeek-R1-Distill-Qwen-32B回答
这道题目很绕，结果DeepSeek回答遇到了问题，变成了原问题的重复，只能强制复位了。DeepSeek-R1-Distill-Qwen-32B重新回答
QwQ-32bf阿辉稳定，也能够自圆其说。它的猜测提问者意图的倾向，在这个问题中又次表现出来，比如专门提到“可能的误解”等。DeepSeek-R1-Distill-Qwen-32B回答
DeepSeek第一次简单拒绝了，第二次后陷入到循环重复问题了。考虑到可能存在的问题表述不清的情况，重新修改了问题再问了一下。我们经常听到有人说：“我看不到未来”。那么他究竟有没有看到未来呢？
DeepSeek-R1-Distill-Qwen-32B回答
对于这个问题DeepSeek又有一点“力不从心”，草草结束了对话。没见其稳定性应该是存在问题的，也就是说再一次证明DeepSeek-R1-Distill-Qwen-32不适合在生产环境中部署。综合上述的比，虽然不是一个非常严谨的测评，但是总体表现已经可以看到效果上的差距了。所以，如果要低成本本地部署大模型的话，我建议还是选用QwQ-32B。这个一个大模型的性价比是最高的。
粤ICP备14082021号
免费POC，
零成本试错
