昨天我在测试一个用户注册功能，这个功能对于密码强度的要求如下：
“密码长度8-16位，需要包含大写、小写、数字和特殊符号。”
这个小需求对于有经验的测试来说简直不能再简单了，算是功能测试入门级别的hello world问题。我让DeepSeek帮我编写测试用例，它分析地挺完善，正确使用了等价类划分和边界值分析，生成的测试用例也很规范：
但是，仔细一看，我发现了一个大问题：DeepSeek生成的测试数据不对！他嘴上说着要生成一个长度为7位的字符串，但实际上生成的字符串长度是8位！而且这个问题在所有测试用例中出现了不止一次。
DeepSeek为什么会犯这么低级的错误，难道是AI降智了？
其实这不单单是DS的问题，而是目前所有大模型普遍存在的短板：数学能力差！别看各种新模型在数学评测中不停刷榜，实际上在解决看似极其简单的数学问题，比如数数字问题上总会不断翻车。大家还记得之前全网热议的“Strawberry有几个r”的问题吗？在这一问题上，各家知名大模型几乎都数错了，可见这个问题的广泛性。
为什么智商绝顶的大模型在数数字问题上却比不过2岁小孩？
从原理上解释，这是给大模型输入文本时进行的Tokenization处理所带来的问题。Tokenization，即是将文本处理为Token的过程，即“分词”，这里分好的“词”并不直接对应我们“人类视角”的【单词/短语/词组】，而是“大模型视角”的【Token】。也就是说，“大模型视角”下的文本与我们“人类视角”并不一样：
以Strawberry为例，它会被分词器被拆分为【“str”, “aw”, “berry”】，导致AI对于这个问题的回答是“两个r”了，因为对于它们来说，这三者均是作为一个整体存在的，而不是从字母维度切分的。
以上是对于大模型为什么数不清数字的原理解释。同样也是由于这个原因，当大模型被要求生成指定长度的字符串时，实际生成的字符串长度会有点偏差。可是这就给我们的在工作中使用AI生成测试用例带来了困难，这个问题该怎么解决呢？
记住这个思路：遇到数学问题，让大模型直接用工具来解决。比如，对于简单的数学运算问题，我们可以让大模型直接使用计算器，或者编写代码然后运行代码获得结果。对于生成指定的字符串问题，也可以编写一个小工具，然后封装成MCP，让大模型调用MCP提供的工具来生成满足特定要求的测试数据。
这个工具的代码逻辑比较简单：首先我编写了一个函数generate_string，用于生成作为测试数据的随机字符串，确保满足指定长度且包含所有指定类型的字符。然后我使用python 的FastMCP来把这个工具封装成了一个简单的MCP server，名称为TestDataServer，使用SSE通信模式，运行在本地的9000端口上。
from mcp.server.fastmcp import FastMCPimport randommcp = FastMCP(name="TestDataServer", description="专门用于生成测试数据的工具", port = 9000)
@mcp.tool()def generate_string(length: int, include_types: list[str]) -> str: """ 生成作为测试数据的随机字符串，确保满足指定长度且包含所有指定类型的字符。 该函数通过保证每种指定字符类型至少出现一次，最终结果经过随机打乱，确保字符分布均匀。 参数: length (int): - 要生成的字符串总长度
include_types (list[str]): - 指定需要包含的字符类型，支持以下选项： * 'lower' : 小写字母 (a-z) * 'upper' : 大写字母 (A-Z) * 'digit' : 数字 (0-9) * 'chinese' : 常用汉字 * 'space' : 空格字符 * 'special' : 特殊符号 (!@#$%^&*()_+-=[]{}|;:\",./<>?)
返回: str: 符合要求的随机字符串
异常: ValueError: - 当include_types为空列表时触发 - 包含未定义的字符类型时触发（有效类型：lower/upper/digit/chinese/space/special） - 当length小于指定类型种类数时触发（如指定3种不同类型但length=2）
示例: length = 8, include_types = ['lower', 'digit'] 'a3b9cd52' # 保证至少包含一个小写字母和一个数字，总长度8
length = 5, include_types = ['chinese', 'special', 'space']) '码_ ！好' # 包含至少一个中文、一个特殊符号和一个空格，总长度5
"""
if __name__ == "__main__": mcp.run(transport='sse')
运行main函数，这个server就启动起来了：
测试一下，在浏览器导航栏输入http://127.0.0.1:9000/sse，看到如下内容说明服务器可以正常接受连接：
接下来就可以在支持MCP的客户端中配置这个自定义的MCP服务器了。这里我选择Cherry Studio, 配置如下：
配置好了之后打开右上角的绿色开关，然后切换到“工具”页可以看到，generate_string已经被正常解析为一个可供大模型使用的MCP工具了：
在server运行期间就可以使用这个工具了。在Cherry Studio聊天页面，选择支持工具调用的大模型，然后在下方工具栏选择TestDataServer MCP, 就可以向AI提问了（提示词中特别说明一下让AI使用MCP生成测试数据）：
AI生成了9条测试用例，并成功地调用了9次MCP，生成的测试数据长度都是正确的，包含的类型也是符合要求的：
以上这个MCP server的功能还是比较简单的，只有一个工具generate_string，之后我们还可以自由扩展其他功能，生成其他各种各样的测试数据，基本思路就是大模型只负责描述数据格式，让工具来生成最终的测试数据，这样生成的测试数据都能确保是符合要求的。
PS: 这个案例中我使用的是DeepSeek-Chat，生成的答案非常简洁明确，效果很好。之前我还使用过深度思考版的Qwen3解决这个问题, 效果却不好，对于这么简单的问题却让Qwen3陷入了过度思考中，思考过程过于冗长复杂，最后也没能正确使用工具。如果大家遇到了这样的问题，可以试试换个模型。
粤ICP备14082021号
免费POC，
零成本试错
