Cisco/LinkDown発生時の確認手順

初期確認

  • 現在時刻とのずれがないか確認
    show clock
    ずれていた場合は+−で時間をメモしておく。

  • Enterでの入力待ちをなくす
    terminal length 0

  • 機器の稼働時間を確認する
    show ver
    XXXXXXX uptime is 2 weeks, 4 days, 23 hours, 11 minutes
    uptime が 障害発生前より長い時間帯であること

  • 現在のconfig状態を取得する。
    show run
    注意 H/W故障でSlotが認識しない場合は該当Slotのconfigが反映されない

IF状態確認

# show ip int brief
Interface              IP-Address      OK? Method Status                Protocol
Vlan1                  172.28.20.1     YES NVRAM  up                    up
FastEthernet0/1        unassigned      YES unset  up                    up
FastEthernet0/2        unassigned      YES unset  up                    up
FastEthernet0/5        unassigned      YES unset  down                  down
FastEthernet0/6        unassigned      YES unset  administratively down down
  • Statusは物理層、Protocolはデータリンク層での状態を示す。
  • down状態になってるIFを確認する。上記例ではfa0/5。ポート番号は、Slot/Module/Port のはず。

# show int ポート番号
  • interface resets のカウンタ値などを確認。※IFがDownUPしたらカウントされる値
  • Total output drops がカウントアップしていれば、トラフィック過多によりポーリングが失敗している可能性がある。
    ポーリング失敗により冗長構成となっているIFが切り替わり、結果としてIF Downとログに書き込まれるケースあり。

# show int description
  • 対向機器のポートがコメントされているので、対向機器へログインし同様の確認を行う。
    通常、保守性を高める為、設定時にコメントを入れている筈。
  • 対向機器とポート番号は後々必要になる可能性が高いのでメモっておく。

ログの確認

show log
  • 基本的には、change state to downとなっているIFを確認する。
  • %LINEPROTO-5-UPDOWN: Line protocol on Interface XXXX, changed state to down
    XXXXが被疑箇所のIFとして考えられる。
  • %DBUS-3-DBUSINTERRSWSET: Slot XX, Internal Error due to VIP crash
    Slot XXの故障。対象Slotの交換が必要
  • %RSP-3-RESTART: cbus complex
    インターフェイスプロセッサクラッシュの可能性。H/W交換を検討が必要。

IFがDOWN/UPが1セットのみの場合

トラフィック過多によるポーリングの失敗により、一時的にIFが切り替わった可能性がある。
show interface にて Total output drops が増加していれば上記を裏付けることができる。
前回の結果から比較する必要がある為、解らないようであれば様子見で対応完了

IFがDOWNしたまま

  • 被疑箇所と思われるインターフェースの再起動を行う
    # conf t
    (config)# int <IF>
    (config-if)# shutdown
    (config-if)# no shutdown

  • 物理層とデータリンク層がup状態になっていることを確認
    # show int <IF>

  • 暫く様子見を行い事象が再発しないようであれば対応完了
    事象が再発するようであればH/W故障が考えられる為、下記(DOWN/UPを繰り返す)のフローへ合流。

IFがDOWN/UPを繰り返す

  • 被疑箇所と思われるインターフェースの再起動を行う
    # conf t
    (config)# int <IF>
    (config-if)# shutdown
    (config-if)# no shutdown

  • 事象が復旧しない場合は、HW交換を検討する。
    (過去実績によると)SLOTモジュールならオンライン、シャーシはオフラインでの交換になる。

  • ポート閉塞の対応を検討する
    DOWN/UPを繰り返している状況は無駄なトラフィックが発生する為、閉塞し片方のルートに集約させる。(冗長構成が前提)
    ネットワーク図や、出力ログ、configなどを参考にポート閉塞時の影響を検討する
    普通に考えれば冗長構成になっている筈。
    そもそも冗長構成になっていようが、いまいが、ポートが故障していたら使えない為、閉塞してH/W交換せざるを得ない。

  • ルータの冗長構成(HSRP)状態の確認
    # show standby brief
    Cisco_HSRP.png
    被疑箇所のIFが一覧に表示されれば冗長構成されている。localと表示されているのが自身をさす。
    IPアドレスが記載されてるルータと冗長構成になっている為、冗長構成側のルータも同じコマンドで確認する。

  • ルータの冗長構成(HSRP)設定の確認
    # show run
    被疑IFの設定を確認。standby 〜の項目がHSRPの設定になる。
    standby GroupID track IF があれば裏側(出口)側のIFDownも考慮されてるので問題ない。
    ※該当IFがDownしたら当該Groupのプライオリティを下げてHSRPを切り替える。

  • down/upを繰り返しているIFを shut させる
    (config-if)# shutdown
    # show int <IF>
    ※対向ポートのIFもdownになることを確認すること
    間にメディアコンバータがある場合、MC間での疎通は取れている為、対向機器ではDownと認識しないため

  • ルータの冗長構成(HSRP)が切り替わることを確認する
    # show standby brief

  • H/W交換作業へ

トップ   編集 凍結解除 差分 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2015-07-19 (日) 22:26:22 (1931d)