“组网上个月不是装好了吗,怎么仓库说系统又卡了?”这是很多公司组网上线两三个月后的典型对话。上线那天测得都好:文件能传、画面能看、速度达标。然后就没有然后了,直到某天业务部门先发现不对劲。
问题出在”验收”和”运行”之间缺了一环:上线验收回答的是”今天通不通”,而业务需要的是”一直通不通”。网络这件事的特点是会变:宽带质量会波动、设备会老化、新应用会抢带宽。装好不管,等于体检一次管十年。
这篇文章说清楚三件事:看什么指标、多久看一次、发现异常怎么办。都不复杂,难的是形成习惯。
四个指标,看全网络的温度
异地组网的健康度,压缩到四个指标就够用。少了看不见问题,多了没人看。
| 指标 | 它说明什么 | 异常长什么样 | 常见原因 |
|---|---|---|---|
| 时延 | 数据跑一个来回的时间 | 比基线高出许多倍 | 链路绕行、运营商调度变化 |
| 丢包 | 路上丢了多少数据要重传 | 视频卡顿、传输反复重试 | 宽带劣化、线路干扰 |
| 抖动 | 快慢不匀的程度 | 通话断续、实时系统抽风 | 流量突发、QoS 没配 |
| 带宽利用率 | 出口被用了多少 | 长期贴着上限跑 | 新应用上线、设备在偷偷同步 |
这四个指标组合起来读,比单看任何一个都有用:时延高但丢包为零,多半是绕路,业务体感是”慢”;丢包高,体感是”卡”和”断”;利用率顶格,是”大家都在挤”。不同的组合指向不同的病,处理方式完全不同。
两个习惯,比任何工具都重要
习惯一:留基线。上线验收那天,把四个指标的数值记下来存档,这就是基线。之后所有”正不正常”的判断,都是和基线比,不是和感觉比。”好像变慢了”没法排查,”从基线的数字变成现在的数字”十分钟就能定位方向。基线每季度更新一次,因为网络升级和环境变化后,旧基线会失真。
习惯二:定期看,而不是出事看。频率建议:指标曲线每周扫一眼(五分钟),完整核对每季度一次(半小时,顺带更新基线)。每周五分钟的意义是建立”体感”,曲线长什么样心里有数,真出异常一眼就能看出来;三个月才打开一次的人,看到曲线也不知道正不正常。
告警让机器守,人只处理被叫醒的事
人盯曲线总是不现实的,告警就是让机器替人守着。配告警有三条经验。
第一,告警阈值贴着基线设,别用默认值。设备出厂的默认阈值经常是运营商级别的宽松标准,小企业的链路劣化到业务已经受影响了,告警还没触发。第二,告警发到会处理的人手里,钉钉或企业微信的群机器人就行,关键是收告警的人知道下一步做什么。第三,配了动作优于只配通知:链路质量跌破阈值自动切换到备用链路,业务不断,人收到通知慢慢查。这种”自愈加告警”的组合,是把影响面从事故降级成事件的关键设计。
用羽信安做组网的客户,这层能力是现成的:管理台里四个指标的实时曲线和阈值告警都有,链路异常自动切换,sTrust 零信任模块管着谁能远程接入处理,值班的人在手机上就能看到和操作。功能清单见羽信安异地组网产品页。自己攒设备组的网,也可以照这四个指标配开源监控,多花些配置时间。
发现异常后的排查顺序
真收到告警,按这个顺序查,从最常见到最少见。
第一步,确认范围:是全部站点都异常,还是单个站点?全部异常先查中心侧(机房、出口、云控制面),单站点异常查那家店的宽带和设备。第二步,对时间:异常开始的时刻,和宽带缴费、新应用上线、装修施工这些事件对得上吗?多数异常能在时间线上找到原因。第三步,看趋势:是突然劣化还是缓慢爬升?突然的多半是外部变化,缓慢的多半是流量增长,对策分别是修链路和扩带宽。
这个顺序走完还没头绪,把基线对比的截图和时间线整理好再找供应商,排查效率翻倍。什么都不带直接说”网慢”,对方只能从零开始。带宽不够的判断怎么做,带宽测算那篇的算法同样适用于排查场景。
常见问题
问:这些指标在哪看?需要买监控设备吗?
答:多数组网网关自带这些指标的管理界面,先看看现有设备有没有,没有再考虑外加监控。判断标准就一条:能不能看到每条链路的曲线和历史,只有”当前值”没有历史的,排查时没用。
问:告警太多看不过来怎么办?
答:分级收敛。能自愈的(自动切换)只留通知,需要人处理的上报,纯信息的(比如每周汇总)合并成周报。告警的目的是叫醒人,不是刷存在感。
问:宽带运营商说他们的线路没问题,但指标就是差,怎么破?
答:拿数据说话。把丢包和时延的曲线截图、时间点整理出来发给他们,明确说”这个时间段这个指标超标”。有数据的情况,运营商会认真很多;空口说”网慢”,得到的永远是”建议重启”。
问:组网供应商应该提供哪些监控?
答:最低要求:链路质量的实时曲线、异常告警、掉线自动切换。没有曲线历史的方案,建议选型时直接扣分。上线后怎么盯,直接问供应商要监控清单,这也是多店管理里说的”管理台一张图”的具体内容。
关于作者
北京思文力得科贸有限公司,2011 年成立,国家高新技术企业,办公地在北京市顺义区汇海南路 1 号院 3 号楼 9 层 3-1002,做企业 IT 运维外包、网络设备整包、弱电与异地组网,自研 sTrust 零信任与羽信安 SD-WAN。持有 ISO 9001、ISO 20000 和《增值电信业务经营许可证》(编号 B1-20252821)。咨询电话 400-686-2011。
小结:组网上线只是开始,长期健康靠四件事:盯时延、丢包、抖动、利用率四个指标;上线时留基线,所有异常和基线比;告警阈值贴基线设、能自愈的先自愈再通知;排查按范围、时间线、趋势三步走。每周五分钟看曲线,季度半小时核基线,比出事救火便宜两个数量级。
