临近五一,我删删删删库了,要跑路吗?
临近五一节,想到有 5 天假期,我开始飘了。
写个简单的Bash脚本都不上心了,写完连检查都不检查,直接拖到到实体服务器跑。
结果一跑起来,发生不对劲,怎么一个简单脚本跑了 10 秒还
前言 临近五一节,想到有 5 天假期,我开始飘了。 写个简单的Bash脚本都不上心了,写完连检查都不检查,直接拖到到实体服务器跑。 结果一跑起来,发生不对劲,怎么一个简单脚本跑了 10 秒还没结束,于是立马直接ctrl + c一顿操作停掉了运行中脚本。 接着,习惯性的输入了ls,结果 what?找不到ls命令? 瞬间背后一凉,慌慌张张打开了脚本。 发现问题了,我写了个巨蠢的 Bug,间接执行了rm -fr /*,这不意味着我删库了? 这台是公司的授权服务器呀,被我这么一整,公司历史的授权记录和其他重要信息不就丢了? 心里慌的一批的我,跟我的朋友们说了这件事linux 拖库,朋友建议我先第一时间上报给 leader,不要把删库的事情瞒着。 于是,我就向 leader 说了我删库事情,本以为会被痛批一顿。 结果 leader笑着说:“没事,你先看看重要的文件还在不在。不过你这么一整,我突然想起编译服务器半年没备份,我先备份一下我的编译服务器,防止哪天也被你们删库了。” 我:“????” 吃瓜的小伙伴,是不是觉得我要删库跑路了?哈哈哈,我没跑路,反而是恢复了回来,所以接下来说说我是如何「从删库到恢复」的。 正文初探案发现场 来看看我写的垃圾代码,是如何引发这次的删库。 既然发生了rm -fr /*的现象,那必然new_lic_dir这个变量是空的。 所以导致执行rm -fr $new_lic_dir/*这条语句的时候,变成了rm -fr /*删库语句。很好,凶器找到了。 那为什么 new_lic_dir会是空的呢? 细心的小伙伴肯定察觉出来了,是因为给new_lic_dir变量赋值的时使用了反引号。 没错,就是反引号的原因。 反引号在 Linux Shell 命令行中有特殊的含义:反引号间的内容,会被 Shell 先执行。其输出被放入主命令后,主命令再被执行。 也就是说,new_lic_dir的值是${lic_path}/new_license这条命令执行的结果,问题这哪是命令啊,所以肯定返回空值给new_lic_dir变量。 我写的那么温柔的代码,竟然变成了穷凶极恶的删库代码。 这下原因是找到了,反引号应该改成双引号才对。 我你真菜呀,那么简单的赋值命令都写错。 哈哈哈,确实菜,都说了嘛,快五一了,我是飘着写这份代码的。 所以习惯性开启程序员内容的第一大武功:crtl+c和crtl+v。 把第一条赋值 lic_path=`pwd` 语句,复制粘贴了,然后只改了变量名,没注意反引号要修改成双引号,所以造成了删库的悲剧。 保留案发现场 既然发生了删库的事情,千万不要重启服务器,也不要关闭 ssh 连接的会话,而是要保留案发现场,接着查查还剩什么。 我,这不是吹大炮嘛?ls都没了,还怎么查? 还好这次是比较幸运,因为在执行脚本的时候,第一时间发现不对劲,立马掐断了还在运行的脚本,所以并非 Linux 所有文件都被删除了。 只要我掐的快,rm -fr /* 就干不死我。 虽然ls被删了,但所幸发现cd命令还能用。 只要cd用的好,它也能用出的ls效果。很简单,只需cd + Tab键就会自动出现指定目录下的所有文件。 有了 cd + Tab键,我们就可以查看每个目录下的文件,于是就可以一步一步来确认哪些系统文件被删了。 通过一番的确认和对比后,发现主要被删除的有四个目录分别是 来复习下上面这四个目录主要是存放了什么: /boot都被删除了,还好我没有重启服务器,要是重启了服务器,就完犊子了,系统肯定起不来了。 cd命令是在/sin目录下,/sin还健全,所以cd是可以正常使用。 所幸重要的数据库信息和文件都还没删除,所以我首要的目标是要恢复/bin、/boot、/dev、/lib这四个目录。 还原文件 由于/bin目录 和/lib部分动态文件被删除,常用的传递文件的方式是无法使用的,如 ftp、scp、mount 等。 我摸索了很久,竟然发现wget可以使用,wget命令是在/usr/bin目录,所幸/usr/bin还健全。 于是,用了取巧的方法,先另一台正常的服务器,把/bin目录放到了Web服务器的Web目录,接着通过wget进行下载。 有戏,看到了成功的曙光。 但是新的问题就来了,我下载过来的命令文件,是没有执行权限的。 而chmod命令是在/bin目录的,它同样也被删除了,无法使用它来给予文件权限。 还在,在网上搜到了一个伟大命令perl,可以通过它来给予文件权限:
真是个神奇的命令。 好了,这下赋值权限问题也解决了,成功在望了。 wget是无法直接把/bin目录下载下来的,只能下载一个文件。 但是我不可能一个一个去下载来进行恢复,这得要何年何月才能完成。。。 我就想到了一个方法: /bin就这样恢复回来啦,剩余的其他目录 也是通过同样的操作恢复了回来。 我的笑容渐渐恢复了回来,哈哈哈哈哈哈哈哈哈哈哈哈 遇到 rm -fr /* 删库事件发生,一定要沉住气,稳住心态 本次删库事件,之所以我能幸运的恢复回来,有非常关键两点: 如果以上两点都没做好,服务器恢复的难度就加大了很多,更严重的是五一节就没的过了。 预防误执行 rm -fr /* 既然rm -fr /*是残忍的凶器,那么预防它是很有必要的,接下来跟大家讨论讨论预防它的几种方案。 方案一:rm -rf 删除目录时要判断目录
在执行删除目录操作前,先判断要删除的目录是否为空,不为空才执行删除操作。 方案二:Shell 脚本指定 set -u 执行脚本的时候,如果遇到不存在的变量,Bash 默认忽略它。
上面代码中,$a是一个不存在的变量,执行结果如下。
可以发现,echo $a输出了一个空行,Bash忽略了不存在的$a,然后继续执行echo hello。 最好是遇到变量不存在,脚本应该报错,而不是一声不响地往下执行。 set -u就用来改变这种行为,在脚本加上它,遇到不存在的变量就会报错,并停止执行。
运行结果如下:
可以看到,因为a是未定义变量,脚本报错了,并且不再执行后面的语句。 方案三:safe-rm 替换 rm safe-rm是一个开源软件工具,这名字听起来就很安全嘛,所以它是用来替代不太安全的rm。 它可以在/etc/safe-rm.conf中配置路径黑名单,定义哪些不能被safe-rm删除。 我们可以将safe-rm更名为rm,假设定义了/etc/无能被删除,那么删除/etc时就会报错:
方案四:建立回收站机制 Windows 是有回收站的,即使误删了,也可以在回收站恢复。 所以,我们也可以在 Linux 实现回收站的机制。 实现思路: 删除文件时,它并不真正执行删除操作,而是将文件移动到一个特定目录,可以设置定时清除回收站,或者在回收站里面的文件大小达到一定容量时(或者用时间做判断)执行删除操作以腾出空间。 可以写个 Shell 脚本替换rm命令,或者在需要删除文件的时候使用mv命令将文件移动到回收站。 ① 创建回收站目录
② 编写remove.sh脚本,内容如下 ③ 修改~/.bashrc, 用我们自建的remove.sh替代rm命令
④ 设置crontab,定期清空垃圾箱,如每天 0 点清空垃圾箱:
⑤ 最后,执行以下命令,使之生效
方案五:根文件挂载成只读 在/etc/fstab文件,把/文件系统挂载成只读的方式。 其中remount,ro,就表示只读的方式挂载。 只读的方式挂载后,进行删除操作是无法成功的: 事后反思 涉及到rm -fr命令的代码,要留个心眼,要反复检查,要做好预防误执行rm -fr /*,并在测试机验证完后,再拖到实体机上跑,千万不可大意。 就算的发生了rm -fr /*,要第一时间停掉它,并且要做到三不要: 只要立马掐断rm -fr /*,它是干不死我们的。 利用当下环境剩有的命令,冷静分析,是有机会恢复的。 我现在是一个删过库没跑路的男人了,Goodbye, 我们下次见。 (编辑:晋中站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |