上海静安NF5466M6浪潮服务器回收之服务器“异常”的几个可能性预警
提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。
想要获知服务器宕机怎么办?可以通过服务器宕机实时检测: 1)发现宕机。 2)提前告警。 3)告知宕机的详细原因,如硬件故障,内核bug,网络异常等等。 4)自动报修生成工单。 我们知道,进行全网物理机宕机准确探测与实时发现,可以给宕机分析提供第一现场,获取第一现场的日志。也可以尽早将宕机数据推送给业务或运营感知并处理,如自动报修,业务迁移等,从而尽可能将业务影响降到最低。
更重要的是,准确的宕机发现数据可以为宕机预测提供准确的标注数据,为后期宕机预测提供数据基础,并且这些数据提供给运营部门进行整体分析,提升处理效率。 那么,如何可以准确发现宕机,减少误报呢?我们可以有以下操作,比如:
心跳源检测异常 顾名思义,通过心跳源,初步发现异常。通常心跳变化会有三类消息,update消息,delete消息和insert消息。心跳逻辑在于,正常情况下SA服务端与NC建立长连接,每数秒缓存一次心跳,每几分钟打包上报一次,但当NC异常时,长连接感知后,立即上报异常,并修改路由表。所以心跳异常做到秒级感知。
update消息,在有心跳发生变化情况下都会有,心跳异常和心跳恢复正常时都会发起,是主要的心跳来源。 delete消息,在心跳异常,并且SA判断ping不通,且ssh不通情况下发起,删除该条消息,避免延迟太长。 insert消息,在新增加机器, 或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用。 心跳源检测任务逻辑,主要是监听并缓存uptime消息,同时避免时间窗内多次消息冲突,导致信息被覆盖。
异常排除 排除非物理机器,将系统中暂时不关注的VM等产生的异常信息排除掉。
排除非业务状态的机器,如装机状态中的,包括生产中,维修中,迁移中,重装中,销毁中,重启中,无管控状态,只监控正常状态的机器。 排除非正在工作的机器,如非working状态机器。
网络干扰排除 宕机分析中,较多误报是由于网络问题干扰,无法准确判断出物理机是否宕机,有可能是网络问题。
排除上联网络设备异常导致的误报,包括机房断网演练,小面积网络故障,上联网络故障,如通过探测丢包情况,使用一些逻辑初步判断网络问题。
服务器本身未丢包的误报,除了需要过滤出网络问题,还要通过丢包数据分析,过滤掉SA误报问题, SA异常会上报心跳异常,被误理解为宕机。 icmp及tcp丢包分析,icmp采集频率为固定数秒,tcp采集频率固定数秒,包括多个不同大小包(16,32,64,128,256等)的丢包情况,根据分析时间窗内两项数据的丢包情况 特殊情况干扰排除
个别机房有时候会出现大面积风暴式的无故心跳异常,同时网络ping包异常,但上联网络设备ping包正常,这种误报,一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率,排除干扰。
进一步识别误报 至此,大部分干扰已经过滤掉,但仍有一部分误报隐藏其中。比如心跳异常,ping异常,都合乎宕机判断的逻辑,会导致误判成宕机,如导致网卡被打爆,或者重试率高,这种是业务原因导致网络异常,但业务认为不是异常,需要排除掉。再例如服务器并没有挂掉,但是IO延时和资源占用 率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查。
![](https://www.feipinzhan.com/file/upload/202303/06/1820465611671.jpg)
上海静安NF5466M6浪潮服务器回收之服务器的功能
1、提供数据共享,上网的人都可以上去下载数据。
2、游戏,网站或者其他软件服务器,现在大型游戏,网站和许多软件都需要服务器,因为你会登陆游戏,软件和网站,这里服务器功能就是存储你的账号信息,游戏数据,并且提供用户之间交流的一个中介或者中转!最重要的是,有些功能是需要服务器去运转的,用户机器是运行不其来的,因为需要的资源很多!
![](https://www.feipinzhan.com/file/upload/202008/05/115136363694.jpg)
上海静安NF5466M6浪潮服务器回收之中转服务器与网闸比较
中转服务器能够实现网闸的功能,确保在两个物理隔离的网络间就是定期交换预先设定好的数据。其部署过程可以由用户参与,自行设定交换哪些数据信息。而一旦数据交换完毕,中转服务器立即断开物理连接。 这种断开用户也可以直观的检查其工作状态,也能极大地降低被扫描、入侵的风险。
相比网闸,中转服务器更易于部署。而且价格比网闸便宜多了。一台当下最普通的个人电脑,可以作为工作站,再安装一个如前文所提及的几十K字节的中转服务器小程序即可工作。
![](https://www.feipinzhan.com/file/upload/202209/01/1222192511671.jpg)
上海静安NF5466M6浪潮服务器回收之服务器的维护保养
1、注重机房环境的建设 机房要保证充足的空间,用以安装和配置服务器的相关设备,机房的隔断,地板等要组好防静电等细节处理。要做好墙面和电缆等的防火处理。机房的温度和湿度也应当操持在一定的范围,如果服务器所在的机房太过于干燥,那么人员在机房中与设备接触的过程中非常容易产生静电。这种静电一般都有几千伏乃至上万伏,这对服务器的正常运行时非常危险的,极易引起严重的事故。
2、做好硬件维护工作 在拆卸和更新服务器设备时,务必让设备处于断电状态并进行接地处理。即便是更换最简单的部件,这些环节也不能省略。要定期对服务器进行除尘处理。
3、维护好服务器软件 我们要定期对服务器的软件系统进行巡检,及时发现漏洞,及时安装官方给定的补丁程序。在扩展服务器数据库时,在条件允许的情况下,最好对原有数据进行备份,以免造成不必要的损失。
4、做好电力控制没有稳定的电力保证 做好电力控制没有稳定的电力保证,服务器就没有办法正常工作。要为机房设计和配置一套稳定,可靠的电力供应系统。这套系统还要有处置和应对突发事件的能力,例如,不可预知的停电、雷电等。
5、密码管理 服务器的密码管理是服务器防御能力的最关键组成部分。密码的管理和更换应当形成一套长效机制。我们要定期对服务器的密码进行更换,密码应有专人管理。选用的密码要有一定的专业性,一定的复杂度,最好是将数字和字母等结合起来,大小写也要融合进去。在日常的检查中,我们要做好登统计,关闭一些不太使用的端口。
![](https://www.feipinzhan.com/file/upload/202207/09/1757162211671.jpg)
上海静安NF5466M6浪潮服务器回收之组管理员
从系统管理员的角度来说,该文件最大的功能就是创建群组管理员。那么,什么是群组管理员呢?
考虑到 Linux 系统中账号太多,而超级管理员 root 可能比较忙碌,因此当有用户想要加入某群组时,root 或许不能及时作出回应。这种情况下,如果有群组管理员,那么他就能将用户加入自己管理的群组中,也就免去麻烦 root 了。
不过,由于目前有 sudo 之类的工具,因此群组管理员的这个功能已经很少使用了。