我要投稿

B 站基于大模型的大数据智能诊断助手实践

发布日期：2025-09-28 17:21:30 浏览次数： 1805

作者：DataFunTalk

微信搜一搜，关注“DataFunTalk”

01

背景介绍

1. 整体架构和规模

B 站是一个视频分享平台，拥有海量数据。大数据平台要支撑公司的众多业务，包括 AI、商业等重要应用。

大数据平台整体是一个“五层一体”+“存算分离”的架构，底层是分布式文件系统；中间有智能调度层，以及不同的计算引擎如 Spark、Flink 等，还包括各种客户端，以及实时数据流 Kafka、OLAP 引擎 ClickHouse 等，还有一些自建的工具和 CI/CD 平台。

平台任务量非常大，每天有 27 万个离线任务计算，2 万左右的 Ad-hoc 查询，7000 个左右重要的实时业务。团队的咨询量也非常大，每周有上千条咨询，每个小团队每周要处理 3 人天的咨询量，需要安排一个人专门处理业务上的咨询，回答用户关于任务失败、任务变慢等问题。

2. 用户的问题

关于离线计算，用户主要有两个问题，一个是为什么任务失败，另一个是为什么任务变慢。

（1）任务为什么会失败

系统内核的缺陷。有些时候系统内核升级了，但任务并没有做充分的测试，导致大规模的任务失败。
依赖组件的问题。平台数据量大，资源组件也很多，有很多任务彼此之间存在依赖，依赖的组件升级或者有 bug 就会导致任务的失败。
数据质量问题。本身有些数据有问题，也会造成任务失败。

当然，可能还会有其它一些原因造成任务失败，比如内存相关的问题等等。

（2）任务为什么会变慢

硬件老化引起。如果计存达到一定规模就会发现这个问题，我们的视频网站，硬盘的数量非常大，数据磁盘是有寿命的，过一段时间读写速度容易变得很慢。
资源调度问题。用户量非常大之后，资源调度压力会非常大的，加上公司的混合部署机制，资源会在不同的部门之间进行调转，在一些潮汐时可能有任务会受到影响。
数据分布问题。数据倾斜或数据本身存在问题也会造成任务变慢。

任务失败或变慢的原因非常繁杂，需要逐一排查，耗时耗力，因此我们需要探索利用智能手段来协助解决问题。

用户的提问通常是比较工程化的，没有很多描述，往往就是一个问题+一个链接，或者比较友好一点的会再加上一个截图。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-05

OpenCSG 正式发布 OpenClaw × AgenticHub 企业级 OPC 平台

2026-02-05

Claude Code vs. OpenAI Codex为什么更慢的模型，反而更快把事情做完

2026-02-04

Skills使用体验

2026-02-04

AgentScope 正式发布 Skills 支持 - 实现渐进式披露

2026-02-04

从“回答者”进化为“研究员”：全面解析 Deep Research

2026-02-04

刚刚，Xcode 史诗级更新：原生集成 Claude Agent SDK，苹果开发直接起飞！

2026-02-04

国产 Cowork 它来了！MCP、Skills和Expert Agents都支持，全部免费体验！

2026-02-04

混元研究博客上线姚顺雨团队最新成果：从 Context 探索语言模型的范式转变

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

Codex 史诗级更新！引入 Skills 技能库，直接兼容 Claude 生态，开发效率原地起飞

2025-12-09

国内版的 NotebookLM 来了，甚至更强

2025-11-12

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude赢麻了？OpenAI Codex正式支持Skills，GitHub连夜上车！

2025-12-21

大家都在问

谁动了我的电脑？谁应该抱怨？

2026-02-04

刚刚！OpenAI 正式发布 Codex App，一人指挥一支 AI 军队，Cursor 慌了？

2026-02-03

谷歌Genie 3打崩游戏股！1小时500元的AI生成游戏，真能革游戏的命？

2026-02-03

史上最强编程模型Claude 5泄露，最慌的是黄仁勋？

2026-02-02

X上点赞近万的Claude Agent SDK教程，到底讲了什么？

2026-02-02

人人都在谈论ClawdBot，但你真的懂它的技术原理吗？

2026-02-02

刚刚，谷歌版「世界模型」震撼公测！网友实测炸翻天：游戏末日来了？

2026-01-31

Transformers V5正式发布！这次更新到底香不香？

2026-01-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部