存储阵列扩容:单节点 96TB 装进 2U 机箱

2026 年 4 月 9 日,成都一个做片库镜像的小团队完成了存储改造:3 台 4U 机器换成 3 台 2U 高密机型,总容量还是 288TB,机柜占用从 12U 降到 6U。
为什么换:重建时间太长
旧阵列用的是 12 块 8TB 盘做 RAID6,单盘故障后重建要 32 小时。这 32 小时里阵列性能降到三成,采集回写的队列会一直堆着,最严重的一次堆了 11 小时才排空。
新机型单节点 12 个 3.5 寸盘位,用 16TB 盘做 RAID6,可用容量 96TB。同样挂一块盘,重建时间 11 小时,因为盘位背板是 12Gbps SAS,而旧机器是 6Gbps。
扩容不是简单加盘
第一次扩容他们直接加了 4 块盘进原有阵列,结果文件系统要重新平衡,跑了 19 小时才完成。这段时间采集写入延迟从 8ms 涨到 240ms,接口侧的 P99 响应时间跟着从 1.1 秒变成 4.3 秒。
第二次改成“新建卷再迁移”。先把新盘的容量建成独立卷,再把冷数据按访问时间迁过去,迁移窗口放在凌晨 3 点到 6 点。这样每次只动 2TB 左右,单次迁移 40 分钟,接口延迟全程没超过 1.4 秒。
监控补了两个指标
扩容后他们加了两个监控项:一是每块盘的介质扫描错误计数,二是阵列重建的预估剩余时间。前者在 4 月 15 日抓到一块盘的错误计数从 0 涨到 214,提前换掉,避免了二次重建。
另一个经验是盘位温度。2U 高密机箱前后风道窄,满配 12 块盘时进风温度比 4U 机器高 4℃ 左右,机房空调出风要压到 22℃ 以下才稳。
这一条记录涉及的能力都能在产品库里找到对应接口:转码切片接口、电影频道采集接口。字段口径与调用方式见对接文档的字段对照表。