服务器调优与选型:从浪费到精准匹配的架构跃迁
|
慢查询爆出来的那一刻,我正把咖啡泼在键盘上——不是手抖,是那个告警弹窗跳出来时我后仰太猛撞到了桌角。风扇一直在转,声音没变,但我觉得它比平时吵了三倍。 开发老张冲进来,衬衫第三颗扣子崩了,拎着笔记本边走边说:“查了,没改SQL,就加了个字段默认值,varchar(255)……你信不信?”我信。我当然信。他连事务隔离级别都能背出InnoDB锁兼容矩阵,不至于在ALTER TABLE里埋雷——但那条SELECT FROM order_log WHERE status = ? AND created_at > ? ORDER BY id DESC 跑了俩小时才回,explain显示全表扫、Using filesort、key_len是NULL。行数在屏幕上跳得发疯,从32万蹦到897万,又缩回去,像卡顿的监控画面。 我原以为又是主从延迟拖垮了读库,结果一登上去,发现只有一台从库在扛读——另一台半夜被运维小陈手动切走了,说“领导要测新备份链路”。他没通知任何人。我翻操作记录,他留了条注释:“./backup_switch.sh -e prod-02 -t 20260817T23:47 —— 测完自动切回(大概)”。大概。我盯着那个括号看了足足一分半,窗外天黑了,路灯亮得特别突兀,像打了个补丁。 查负载,CPU不红,内存剩仨G,磁盘IO也不高。倒是那个order_log表,建表语句里timestamp字段用了datetime,还带时区转换函数包着。没人记得为什么。开发说上线前DBA批过,DBA说我签字的DDL单子早归档了,领导在会上说过“先跑通再优化”。我翻了翻自己半年前签的那份单子,底下备注栏潦草写着:“确认无全文索引需求,暂不考虑倒排”——我真写过这句?不记得了。可能喝多了。也可能那天午饭是盒饭,青椒炒肉里的青椒太生,硌得我咬字不准。 最后发现是那个新加的status字段没索引,而created_at上有索引——但复合查询压根没命中,因为ORDER BY id导致优化器放弃range scan,直接fallback成index_merge?还是因为统计信息过期?我让运维去ANALYZE TABLE,他说“上一次是两个月前”,我点点头,没骂人。他刚值班回来,眼底乌青,手里攥着半块冷掉的蛋黄酥,包装纸都皱了。我没接。我说:“你先吃,吃完再跑。” 结果ANALYZE之后,执行计划真变了。但慢查询还是慢。不是快了,是慢得更稳了——从波动的13秒到恒定的11.8秒。我盯了十分钟。不是数据分布问题。是那个ORDER BY id,id本身有主键,但优化器不肯用,宁愿扫描整个二级索引再排序。为什么?因为WHERE里status字段的选择率太高了?不对,status只有四个值,等值查应该走索引啊。我又看了执行计划,key列显示用了created_at索引,但Extra里赫然写着“Using index condition; Using where; Using filesort”。我点开MySQL源码注释截图看了一眼——filesort那行旁边有行小字:“当ORDER BY非索引列且覆盖不足时,强制回表并排序,哪怕代价更高”。我原以为这是8.0.22之后的bug修复,结果翻changelog才发现:这是feature。他们管这叫“可预测性优先”。呵。 这时运维小陈嚼着蛋黄酥最后一口,含糊说:“其实…我们上周试过换机器。” 我抬眼。他说换的是新采购的ARM服务器,48核+1TB内存,单机顶原来三台。跑了两天,慢查询更慢了。“CPU缓存一致性模型不一样,我们的JOIN算法在aarch64下分支预测失败率高了7%”,他掏出手机给我看perf report,数据真实,但我没细看。谁还记得去年为迁移到ARM争过一轮?开发嫌Go runtime编译慢,运维嫌Docker镜像层不兼容,最后是我拍板“先灰度订单中心”。结果订单中心没事,日志服务崩了两次。没人敢说是不是因为ARM下systemd-journald的mmap flush策略变了——太虚。我们只认得慢。慢就是错。 那天下午我跟运维、开发、测试四个人挤在小会议室里,没开灯,投影仪蓝光打在墙上像块淤青。我说:“不加索引了。”老张抬头:“啥?”我说:“这张表明天下线归档逻辑,改推消息队列,落库改异步,前端分页加时间兜底。”他愣住:“那今天改的status字段白加了?”我说:“不白加。它是触发器。是我们终于看清——不是机器不够,是我们还在拿十年前的‘够用就行’思维喂二十年后的流量洪峰。”
文章配图,仅供参考 领导路过问了句:“好了没?”没人答。空调滴水声突然很响。他转身走了,皮鞋声停在走廊拐角,像按了暂停。 后来我翻了采购清单。今年八月那批机器,标称IOPS 80万,实际压测稳定在42万左右;内存带宽标称200GB/s,跑stream测出168——但跑我们业务中间件,drop了一半。参数都是真的,只是没标“在Java堆外缓存+自研序列化+双写Redis”的场景下”。优胜劣汰不是选最强的机器,是选最肯承认自己短板的团队。比如我,现在看任何“推荐配置”文档第一反应是翻最后一页的免责条款;比如运维小陈,改用夜班后自动校验所有switch脚本的rollback路径是否真正可用——上次失效就是因为rollback脚本里硬编码了旧IP,而旧IP三天前就被回收进池子了。他没提这事,直到昨天交班时顺手删掉了脚本里那行注释:“# 备份用,不执行”。 我手机屏保还是一张三年前的老图:IDC机柜照片,密密麻麻全是2U服务器,标签纸上印着“2019年购入/已超维保/待淘汰”。当时觉得塞满才安心。现在看,像一群穿西装蹲坑的壮汉——用力,但方向错了。外卖凉了,放在我左手边,塑料盒盖边缘凝着一圈水珠,慢慢往下淌。我也没动。下周一我要去跟采购聊SSD的DWPD指标到底该怎么对齐业务SLA,不是算P99延迟,是算“业务能忍几次重试”。可能聊不拢。但得聊。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


深度学习服务器选型避坑与全栈调优实战