四套机制
出问题之前、之中、之后,我们各做什么
下面四张卡片是含羞草视频运维流程的完整链路:先靠巡检把问题找在用户前面,再用分级决定谁先被修,接着用固定窗口把变更关进笼子,最后用状态页把进度摊开给你看。四件事缺一件,前面三件的数字都会变成空话。
15 分钟一轮巡检
38 个边缘节点每 15 分钟被完整拨测一次,覆盖首页加载、播放起播、支付回调三条关键链路。任一链路连续两轮失败即自动建单并升级到值班群,不用等用户先来报障。巡检原始日志在状态页公开,精确到分钟。
P0 到 P3 共四级
按影响面定级:P0 为全站不可用或支付异常,5 分钟首次响应、30 分钟内定位;P1 为单端大面积故障,15 分钟响应;P2 为局部功能异常,4 小时响应;P3 为体验建议,次工作日排期。级别由值班工程师复核后写在工单上。
周三 02:00–04:00
除紧急热修外,所有版本发布统一放在每周三 02:00–04:00,并在提前 48 小时通过 App 内横幅与状态页双渠道公告。窗口内先灰度 10% 流量,观察 20 分钟无异常再全量。多数时候 03:20 前就收工,但我们不承诺一定提前。
状态页实时同步
故障确认后 10 分钟内,状态页会挂出「已确认」标签,写明影响范围、当前级别与下一次更新时间。修复过程中每 30 分钟刷新一次进展,即便没有新情况也会写一句「仍在处理」。完整复盘在恢复后 5 个工作日内公开。
15分钟
全节点巡检间隔
4级
故障响应分级
5分钟
P0 首次响应时限
27起
近 12 个月故障单
最后一组数字是我们主动公开的:过去 12 个月共产生 27 起需要对外公告的故障单,其中 4 起超过公告时限,被状态页自动打上「已超时」标记。我们不会把它藏起来当作没发生。
用户怎么说
真撞上故障的人,评价的是处理速度
去年 11 月一个周五晚上,22 点 41 分首页白屏。我在 App 里点了报障,22 点 47 分收到工单号,23 点 05 分状态页挂出「P0 已确认」,23 点 32 分恢复。整个过程中我能看到进展,不用反复杀掉重开去试。小瑕疵是那天第一次公告把影响范围写小了。
张启明
已使用 1 年 8 个月
最烦的是用着用着突然维护。含羞草是固定每周三凌晨那两个小时,提前两天 App 里就有横幅,我基本都躲得开。有一次周三 01:50 收到推送说窗口延后到 03:00 开始,理由是灰度时发现播放器有个坑。白等两小时,但总比上线后崩上一个礼拜强。
林晓
已使用 7 个月
我遇到过一次 P2:投屏到电视只有声音没画面。当时是周日晚上,等了差不多 4 小时才有人回,这点我不算满意。但状态页上写的就是「P2,4 小时内响应」,人家确实没超时,也没拿话术糊弄我,第二次更新还贴了复现录屏。所以我留着没换。
苏文
已使用 2 年 3 个月
常见问题
前面没讲完的,补在这里
以下五个问题来自报障工单里出现频率最高的追问,答案与客服口径一致。如果这里没覆盖到你的情况,App 内「我的—报障」可以直接提工单。
窗口固定在每周三 02:00–04:00,这个时段多数人已经睡了。如果确实撞上:已下载到本地的内容不受影响,可以照常离线播放;在线播放会看到一张「维护中,预计 04:00 恢复」的占位页,上面带倒计时和本次维护的具体内容。窗口一旦延长超过 30 分钟,我们会主动推一条通知给当天活跃过的用户。
判断标准写在 App「我的—报障」页顶部:影响全部用户或涉及资金安全的算 P0/P1,只影响单一功能或单一机型的算 P2,界面、文案、功能建议类算 P3。你可以先自选,但值班工程师会复核并可能改级,改级记录在工单里全程可查。有人为了催单故意选 P0,我们会驳回并在工单里写明原因。
不会。维护窗口只停线上服务,数据库变更一律走双写加回滚脚本,2024 年至今没有出现过因为维护导致的数据回滚。会员有效期按自然日计算,维护那两小时不计入损耗,但也不会顺延补偿——这一点我们写得很直白,不靠模糊条款留余地。
会。超过公告时限 10 分钟,状态页会自动把标签从「处理中」改成「已超时」,同时写清楚超时原因和新的预计恢复时间,受影响的用户会收到一条 App 内推送。近 12 个月 27 起故障单里有 4 起触发过这个标记,我们没打算把这个数字藏起来。
因为热更新出了问题很难回滚。我们的发布流程要求先灰度 10% 流量观察 20 分钟,这一步必须在低峰期做。曾经试过在工作日下午灰度,结果 3 分钟内 200 多名用户同时反馈播放卡顿,只能紧急回滚。相比之下,每周两小时可预期的停机代价更小。这是取舍,不是技术做不到。