经典故事:网络医院的故事（三）

2019-11-04 20:31:32

字体：大中小

来源：转载

供稿：网友

　　[故事之五]
　　
　　雏菊链效应导致网络速度变慢
　　
　　[症状]
　　
　　下午某市工商局信息中心来电，其下辖的某县工商局今晨与市局的联网出现问题，速度与往常相比速度慢了许多。其中与该县工商大厦七楼的计算机基本上不能进行数据交换。而与其它楼层的计算机通信虽然速度较慢但还基本上能维持正常的数据交流。由于该市在规划计算机网络广域联网方案时没有考虑将来自身维护的问题，只是简单地在工程合同中将维护工作交给工程承包商负责，自己没有配备专门的工具和培训专门的人员来维护网络。该工程承包商当时负责此项工程的人员早已离开这家公司，故对今日的故障只能表示爱莫能助。经人介绍找到了网络医院。
　　
　　[诊断过程]
　　
　　我们当晚即乘火车抵达该市并连夜开始查找故障。该市网络规模挺大，下辖7县6区87个工商所，市县局之间用64K的DDN链路连接，工商所与县区局之间用电话线连接。从市局向故障的县局用F683网测试仪作通道测试，速度4K时就上不去了，响应时间804ms，ICMP Ping显示县局路由器连接成功率在1/7左右。将县局网下挂的所有网络设备断电并拔下所有与路由器相连的联线插头，只留下路由器和一台集线器、一台笔记本电脑与之相连，再作通道测试速度为54k，响应时间46ms，ICMP Ping成功率100％。由此证实故障不在DDN链路，而在县局网络本身。
　　
　　驱车前往县局工商大楼，恢复大楼网络设备的供电，插上全部线缆插头，然后将Fluke公司的F683网络测试仪接入网络进行网段扫描，30秒后显示双路由器ip地址错误，伴随少量FCS类型帧错误。显然，故障与地址设重的这台路由器有直接关系，但网管人员不知道这另一台路由器来自何方，查机器文档备案资料也无此路由器的资料。经再三询问网络治理人员，才想起原来有一个废弃的备份路由器，半年前就早已经不工作了。虽未从早期不用机架上拆下来，但一直未让其上电工作(电缆联线也未摘下)。我们检查该路由器时却发现它正在上电工作！！，系何人所为暂且不查，立即将电源插头拔下另路由器断电，一分钟后市局来电网络速度恢复正常。此时F683网络测试仪虽然显示双重地址消失，但仍然有少量FCS类型帧错误，这说明网络还存在问题，而且主要是布线及链路设备的问题。联系七楼数据交换比其它楼层困难的故障现象，用F683向各楼层的计算机定点发送流量，结果发现与一楼、二楼和市局的定点数据发送FCS帧错误明显增高，其它楼层正常。基本可以断定是由于雏菊链效应造成的典型故障。据网络治理人员介绍，本网络平时就感觉七楼与市局和一楼、二楼的网络连接速度有时变慢，偶然会有中断现象。查工程图纸，上面只标有一到五楼的布线及网络设备的分布图。六楼七楼的设备由于是半年前该局自己增加的，所以没有标示。无赖我们只得沿集线器布线方向查找网络连接结构。简单的计数就可以知道，七楼的设备与一楼、二楼的设备(路由器在二楼)集线器总数为5个，这很轻易引起数据包的延迟碰撞(在10Base-T网络中则表现为FCS类型错误帧)。
　　
　　[诊断评点]
　　
　　雏菊链效应是指局域网(10M网)内任何两个站点之间的集线器数量超过4个后引起的数据传输时间超长而引发的网络错误现象。本案中七楼、六楼为后来增加的网络，网络治理人员没有规划网络就想当然地将集线器按级连方式连接起来，结果出现雏菊链效应。假如不是有人昨天将备份路由器偶然接入网络造成广域网故障，雏菊链效应还将作为一隐患长期潜伏下来。
　　
　　一般来讲，路由地址竞争将引发严重的路由瓶颈问题，另外路由与服务器、交换器等地址竞争也同样会引起严重的带宽平衡问题。路由与工作站地址竞争情况会好一点。
　　
　　该市工商局的网络维护和治理可以说基本上处于空白状态，这也是国内许多网络维护治理的典型现状。假如说前几年主要精力放在了网络的建设上，那么现在该是将网络的健康维护工作提到议事日程上来的时候了。否则随着网络规模、速度和复杂性的增加将会后患无穷。
　　
　　[诊断建议]
　　
　　改变六楼、七楼的集线器连接方式，或者重新做正规布线；指定专人妥善治理备份路由器；培训网络维护和治理人员，配备适当的维护工具，对网络的工作状态做一些必要的定期测试和登记。另外，网络的文档备案工作非常重要，一定要仔细做好这项日常工作，硬件备案时一定要将机器的Mac地址一一对应备案。
　　
　　[故事之六]
　　
　　服务器网卡物理功能的失效,导致网络瘫痪,仅在小数据量时能够维持网络活性
　　
　　[症状]
　　
　　某银行向医院求助，其西城区整个网络瘫痪，与电脑中心的联络基本中断，只偶然有部分交易能达成，但速度很慢，不知何故。由于电脑中心的网管系统也陷于瘫痪状态，无法观察任何网上设备的情况。
　　
　　[诊断过程]
　　
　　系统故障是凌晨4:30左右出现的(约4小时前)，值班员当时发现网管系统有报警信号，20秒钟后网管机就基本上处于死机状态了，想进一步了解故障，遂将系统重新启动过三次，每次网管机都在20秒钟左右失效，而主服务器和网管机脱机自检均正常。
　　
　　询问各营业所网络内部工作情况，回答正常，只是交易动作无法实现。可以基本断定故障就在中心的计算机系统中。中心除了配置有HP公司的网管软件OpenView外，没有再配备其它任何网络维护工具。所以一旦网管系统不能正常工作，运行维护人员也就无从下手。东城区和西城区的网络主服务器分别在两个不同的网段中，之间用交换器连接起来。全城结算主机与东城区主服务器在同一网段。用F683网络测试仪接入东城区正常工作的网段观察，发现Cisco5500交换机的Plot3Port4(第3插槽的第4端口)有异常流量，而该端口连接的正是西城区主服务器和网管系统所在的网段。为更仔细地观察此网段的工作情况，将F683网络测试仪和协议诊断器PI接入该网段，测得网络持续流量为97％，其中错误帧占98％。错误类型为短帧40％，帧常50～60字节不等，长帧58％，帧长3000～5200字节不等，并报告了出错机器的Mac地址。依此地址查找对应的机器，遗憾的是该电脑中心没有Mac地址备份表(只有IP地址和符号名对应表)。试着用ICMP的Ping查找网管机和服务器，显示Mac地址对应的是服务器的IP地址。重装服务器网卡驱动程序，无效，用F683测试服务器端口，协议显示Unknown，更换服务器网卡，重装驱动程序并设置响应参数，重启系统即恢复正常。
　　
　　[诊断评点]
　　
　　服务器网卡已经损坏，发出的数据帧错误率为98％，只有不足1％的数据正常。所以网络偶然还有交易可以达成。我们知道，超长帧有封闭网络的作用，主要是引起网络速度变慢或网络瘫痪，而短帧达到一定流量则会对网络设备的工作协议造成一定程度的破坏，引起设备死机(实际测试中发现工作站对此更敏感些)。网管机上网时在收到高错误流量帧后约20秒钟即被破坏死机，无法观测参数。许多设备在自检时只检查部分参数(有些参数尤其是某些物理参数无法仅靠自检来测试)，此案例中网管机和主服务器自检表现正常，而实际上主服务器的网卡物理功能已经失效，但在自检时与操作系统的通信协议能正常工作，靠1％左右的正常帧可以维持极低的网络活性。其它网站会在高流量错误帧的"轰炸"中陆续丧生。
　　
　　[诊断建议]
　　
　　交换机用来隔离网段和网络故障有较好的作用，主服务器、网管机等重要网络设备应以独享交换机端口为佳，不宜再用共享式集线器连接上其它设备，这样可以迅速孤立出故障设备，减少因网络停运造成的损失。假如恰好碰到交换器故障，那么根据网络拓扑结构图就可以迅速定位交换机的问题，提高维护工作的时效性。另外，Mac地址是文档备案的最重要内容之一，除了用于排除网络设备故障有极大方便外，对于迅速查找我们称之为"恶意用户"的非合法上网成员也有很大帮助。

上一篇：网卡故障导致网络风暴，同一网段内的计算机间无法通讯

下一篇：经典故事:网络医院的故事（四）