小乔 发表于 2016-3-29 10:15:33

S5700因收到大量STP TC报文导致CPU升高解决案例

问题描述
如图1-1所示,某用户反馈其企业网络中,其中一台S5700交换机(图中标号为S11的设备)CPU异常,CPU占用率经常达到90%以上。
图1-1 S5700因收到大量STP TC报文导致CPU升高组网图


告警信息
执行命令display cpu-usage,查询S5700的CPU信息,S5700最近曾出现CPU升高的记录,CPU占用率最高达到了97%。
<S5700> display cpu-usage
CPU Usage Stat. Cycle: 60 (Second)
CPU Usage            : 18% Max: 97%
CPU Usage Stat. Time : 2014-10-0711:19:29
CPU utilization for five seconds: 18%: one minute: 18%: five minutes: 18%
Max CPU Usage Stat. Time : 2014-09-11 16:37:54.
查询设备日志,有大量TC报文日志产生:
Oct7 2014 11:06:20-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l):Last message repeated 1 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
Oct7 2014 11:05:19-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l):Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)
Oct7 2014 11:04:12-05:13 S5700 %%01INFO/4/SUPPRESS_LOG(l):Last message repeated 3 times.(InfoID=1092489232, ModuleName=MSTP, InfoAlias=RECEIVE_MSTITC)


处理过程
步骤 1 因未在故障时采集信息,无法知道具体哪些进程引起CPU升高,怀疑为设备FTS任务进程要处理大量的TC报文,导致CPU占用率升高。设备一直产生TC报文日志,首先确定此TC报文是本设备产生的,还是从其它设备收到的。
使用display stp tc-bpdu statistics命令查询TC报文是在S5700设备产生的,还是从其它设备收到的。经查询S5700与SwitchA互连的端口GigabitEthernet0/0/52收到的TC报文一直增长,且同时转发至其它接入层交换机。由此可以判断该TC报文不是S5700设备产生的。
<S5700> display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port                        TC(Send/Receive)      TCN(Send/Receive)
0   GigabitEthernet0/0/51       29272/63            0/0
0   GigabitEthernet0/0/52       3/18363               0/0
步骤 2 使用display stp tc-bpdu statistics命令逐层排查TC报文入方向设备,确认此TC报文是在网络中的哪一台设备上产生的。
查询核心设备SwitchA,发现Eth-Trunk1收到大量的TC报文,而Eth-Trunk1是与核心设备SwicthB互联的,由此可以判断该TC报文不是SwitchA产生的。
<SwitchA> display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port                        TC(Send/Receive)      TCN(Send/Receive)
0   GigabitEthernet0/0/1      16754/7               0/0
0   GigabitEthernet0/0/2      17112/1               0/0
0   GigabitEthernet0/0/3      17462/11            0/0
0   GigabitEthernet0/0/4      17793/4               0/0
0   GigabitEthernet0/0/5      18118/5               0/0
0   GigabitEthernet0/0/6      18415/3               0/0
0   GigabitEthernet0/0/14       17791/3               0/0
0   GigabitEthernet0/0/15       18113/6               0/0
0   GigabitEthernet0/0/16       18435/4               0/0
0   Eth-Trunk1                  4/11010               0/0
继续查询核心设备SwitchB,发现GigabitEthernet0/0/2端口收到大量的TC报文,而GigabitEthernet0/0/2端口是与S4设备的GigabitEthernet0/0/52互联,由此可以判断该TC报文不是SwitchB产生的。
<SwitchB> display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port                        TC(Send/Receive)      TCN(Send/Receive)
0   GigabitEthernet0/0/1      12495/13               0/0
0   GigabitEthernet0/0/2      135/8349               0/0
0   GigabitEthernet0/0/3      13430/19               0/0
0   GigabitEthernet0/0/4      13784/14               0/0
0   GigabitEthernet0/0/5      14200/17               0/0
0   GigabitEthernet0/0/6      14687/10               0/0
0   GigabitEthernet0/0/14       14164/16               0/0
0   GigabitEthernet0/0/15       14164/16               0/0
0   GigabitEthernet0/0/16       14625/12               0/0
0   Eth-Trunk1                  11012/4               0/0
继续查询S4设备,发现GigabitEthernet0/0/51、GigabitEthernet0/0/52端口Send方向大量的TC报文计数增涨,初步判断TC报文由应由此设备产生。
<S4> display stp tc-bpdu statistics
-------------------------- STP TC/TCN information --------------------------
MSTID Port                        TC(Send/Receive)      TCN(Send/Receive)
0   GigabitEthernet0/0/51       8196/1123             0/0
0   GigabitEthernet0/0/52       8343/136            0/0
步骤 3 当查询到S4设备时,发现其TC报文只有在出方向上不断有增长计数,由此可判断该TC报文为S4设备产生。此时执行命令display stp topology-change查询该TC报文的信息。从以下回显可以看出,该设备GigabitEthernet0/0/51端口不断由阻塞变为放开后,由于状态变为detected而触发拓扑变化。
<S4> display stp topology-change
CIST topology change information
   Number of topology changes             :8233
   Time since last topology change      :0 days 0h:0m:26s
   Topology change initiator(detected)    :GigabitEthernet0/0/51
   Number of generated topologychange traps :   9852
   Number of suppressed topologychange traps:   13**** Hidden Message *****


eric_335 发表于 2016-3-29 10:32:56

感谢楼主分享

duanzhili1982 发表于 2016-3-29 10:35:59

谢谢LZ分享

3011209 发表于 2016-3-29 10:56:02

不错,看看

sy7527951 发表于 2016-3-30 00:26:10


感谢楼主分享

snake4742 发表于 2016-4-3 07:15:29

看看思路

snake4742 发表于 2016-4-3 07:15:40

看看思路

snake4742 发表于 2016-4-3 07:15:40

看看思路

snake4742 发表于 2016-4-3 07:15:51

看看思路

snake4742 发表于 2016-4-3 07:16:30

看看思路看看思路

指尖的美 发表于 2016-4-4 16:15:32

谢谢共享,一起分享

richest41 发表于 2016-4-4 21:02:46

学习一下下呢

qq669424248 发表于 2016-4-5 16:51:49

不错学习了·

xiaojun223885 发表于 2016-4-7 14:18:04

kkkkkkkkkkkkkkkkkkkk

lujun19891031 发表于 2016-4-13 11:11:51

{:6_291:}{:6_291:}{:6_291:}{:6_291:}
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: S5700因收到大量STP TC报文导致CPU升高解决案例