sys工具箱的示例解析
发布时间：2022-01-12 08:30:04 所属栏目：系统 来源：互联网
导读：这篇文章主要为大家分析了sys工具箱的示例分析的相关知识点，内容详细易懂，操作细节合理，具有一定参考价值。如果感兴趣的话，不妨跟着跟随小编一起来看看，下面跟着小编一起深入学习sys工具箱的示例分析的知识吧。 导言 线上运行环境有时候会遇到cpu 飙升
|
这篇文章主要为大家分析了sys工具箱的示例分析的相关知识点，内容详细易懂，操作细节合理，具有一定参考价值。如果感兴趣的话，不妨跟着跟随小编一起来看看，下面跟着小编一起深入学习“sys工具箱的示例分析”的知识吧。 导言 线上运行环境有时候会遇到cpu 飙升的场景，一般来讲对于多核的虚机，一个常见猝发场景就是高并发导致，核多并发高时，syscall会在锁这块 sys 消耗高,当然只有猜测不行，下面就列出了几个常见捉鬼工具 。 工具箱 1、nmon promes 分析 尤其是promes ,比较推荐用起来，提供比较立体的系统级别监控 2、perf 分析 perf top -a -G perf top -a -e cs -G perf record -g -p 14778 -e cycles sleep 10 TIPS: perf 采样界面中按 shift + e 可展开堆栈 shift + c 可折叠 展开 折叠状态分别截图 右方向键可以下钻函数查看其上下文（例如属于哪个lib），左方向键返回 最好排在前面的几个函数都去下钻截图 3、系统调用统计 { top -H -p PID -b -n 1|grep execname|awk '{print $1}'| sed 's/([0-9]*)/-p 1/g'|xargs strace -c 2> /tmp/stat & }; sleep 5;pkill strace 4、调用细节 { top -H -p PID -b -n 1|grep execname|awk '{print $1}'| sed 's/([0-9]*)/-p 1/g'|xargs strace -i -v -T 2> /tmp/detail & }; sleep 5;pkill strace 5、sar -wq 1 10 6、vmstat 1 10 7、mpstat -I ALL 1 8、rpm -qa > /tmp/rpms 9、堆栈dump echo 1 > /proc/sys/kernel/sysrq echo t > /proc/sysrq-trigger 一个案例 某数据库系统导数据时，syscpu 会很高 可以看到每到任务运行时间，sys 就会高企，，初步分析，目标机器有16c，根据经验怀疑是时间耗在并发锁处理上，但是具体哪部分需要使用perf 线上抓取堆栈 ，可以看见sys time 耗在了spinlock 处，是MM 系统的内存压实整理例程中，结合该数据库开启了hugepage 因此初步可以断定是因为内存过于碎片化，无法满足巨页分配，也就是整体看内存高阶页不足 当然伴随的现象不止这一个，也注意到问题时刻系统的进程创建非常多，高达每秒数百， 这个与项目组认为的10并发是对不上的，因此的出的综合结论是 sys高时间主要耗在了内存碎片整理， 主因是内存不足，伴随现象之一是线程创建多 fork 300-800/s 内存回收多，很多cache 问题时间段回收，得扩内存，动态模型也似乎有问题，不知道fork 那么多进程做什么用 上面的结论看着很模糊，但是提供了比较全面的现场总结，坚定了问题的排查方向，果然，项目组重新梳理代码后，发现一处高并发场景，修改参数后，问题得以解决 （编辑：晋中站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
