我要投稿

DeepSeek开源周第五弹：3FS,一个高性能分布式文件系统

发布日期：2025-03-03 06:43:10 浏览次数： 2718

作者：提示日记

微信搜一搜，关注“提示日记”

“ 今天，deepseek-ai开源了分布式文件系统3FS（Fire-Flyer File System）强势登场，号称要用6.6 TiB/s的吞吐量和30分钟排序110.5 TiB的惊人性能，彻底解决AI存储瓶颈。”

3FS官方仓库地址：

https://github.com/deepseek-ai/3fs

01

—

3FS的核心秘密——技术解构

3FS的杀手锏在于其分离式架构和对现代硬件的极致利用。它结合数千个SSD的吞吐量与RDMA网络的高带宽，构建了一个无本地性限制的共享存储层。简单来说，无论数据在哪里，访问速度都快得像在本地。

强一致性：通过CRAQ（Chain Replication with Apportioned Queries）实现，分布式环境下也能保证数据不乱。

无状态元数据：基于FoundationDB的事务型键值存储，开发者无需学习新API，接入成本几乎为零。
多场景适配：从数据准备到训练样本随机访问，再到高吞吐量检查点和推理KVCache，3FS几乎覆盖AI全生命周期。

这种设计让3FS不仅是一个文件系统，更像是一个为AI量身定制的“数据加速器”。

02

—

3FS硬核性能

3FS的性能数据让人瞠目结舌：

峰值吞吐量：180个存储节点+500多客户端，聚合读吞吐量高达6.6 TiB/s，即使有背景流量也不掉链子。
GraySort测试：25个存储节点+50个计算节点，30分钟14秒排序110.5 TiB，平均每分钟3.66 TiB，堪称分布式排序的“速度之王”。
KVCache推理：峰值读吞吐量40 GiB/s，比传统DRAM缓存更便宜，容量更大，完美适配推理场景。

这些数字背后，是3FS对AI工作负载的深刻理解——它不仅快，还能稳定应对高并发和复杂任务。

03

—

3FS的野心与潜力

3FS的目标显然不只是做一个“快存储”。它试图通过统一的共享存储层，简化分布式AI应用的开发流程。想象一下：无需预取数据、无需手动洗牌样本、检查点秒级完成、推理缓存成本腰斩——这对AI工程师来说简直是梦幻场景。

更重要的是，3FS的开源性质让开发者可以自由定制。它可能成为AI生态中的一块重要拼图，甚至挑战现有的分布式文件系统格局。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-21

麻省理工团队开源GenCAD，用一张图片生成完整CAD模型与参数化程序

2026-05-21

真Agent框架生态的主语言已经变为TypeScript

2026-05-20

Hermes Agent + Ollama本地安装指南

2026-05-20

Qwen3.7来了，全球排名第13，国内第一

2026-05-17

开源、零依赖、R@5 精度 95%：agentmemory 凭什么比 mem0 更值得用

2026-05-16

Hermes Agent 深度解析：为什么它能“越用越懂你”？

2026-05-15

再见 Hermes、小龙虾！面向 DeepSeek V4 的终端原生编程智能体来了

2026-05-15

GenericAgent 实测：Token 少用 89.6%，还能打赢 Claude Code？上下文密度才是关键

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Hermes Agent 出来了，聊聊它凭什么跟 OpenClaw 掰手腕

2026-03-30

Google Gemma 4 开源｜全面解读

2026-04-03

字节跳动开源 DeerFlow 2.0：下一代超级 Agent 引擎，一键搞定复杂工作流！

2026-03-23

很多人突然不玩小龙虾而用Hermes Agent了。我替你试了，跟小龙虾到底有啥不同？

2026-04-09

刚刚，Claude Code开源了！51万行代码，全网狂欢

2026-03-31

4 天 6.8K Star，这个 AI 漫剧项目火了：waoowaoo！

2026-03-03

震惊！刚刚，Anthropic掀了桌子：OpenClaude横空出世，大模型闭源时代彻底终结？

2026-04-01

GLM-5 技术报告全解读｜a16z：“最好的开源模型”

2026-02-22

开启极简养虾，用 TRAE 快速部署 OpenClaw

2026-03-04

OpenAI 刚开源了 Symphony：以后写代码，你只需要拖工单就行了

2026-03-09

大家都在问

Hermes Agent 深度解析：为什么它能“越用越懂你”？

2026-05-16

百度把Nano Banana塞进4090，疯了？

2026-04-22

Kimi K2.6 开源了！还附送了 300 个 Agent 员工？

2026-04-21

Hermes 凭什么两个月接棒 OpenClaw？

2026-04-15

很多人突然不玩小龙虾而用Hermes Agent了。我替你试了，跟小龙虾到底有啥不同？

2026-04-09

震惊！刚刚，Anthropic掀了桌子：OpenClaude横空出世，大模型闭源时代彻底终结？

2026-04-01

英伟达的NemoClaw，能帮AI代理这匹“野马”套上缰绳吗？

2026-03-17

你的 AI Agent 真的在受控运行吗？

2026-03-13

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部