ネットワーク運用監視の業務では、電話応対がメイン業務と言ってもいいほどです。障害が発生すると、お客様や調査担当部署、場合によってはマネージャーなど多方面に電話でコミュニケーションを図る必要があります。
この記事では、ネットワーク障害が発生したと想定して、僕の体験をもとに実際に発生する「電話のやり取り」に焦点をあてて再現してみます。
「ネットワーク運用監視とは何をするのか」という業務概要から知りたいという方は、まずこちらの記事からご覧になってください。
【体験談】ネットワーク運用監視の仕事内容を超具体化文系未経験からネットワークエンジニアになる人の最初の仕事内容は、ネットワークの運用監視という仕事になる場合が多いです。
僕は２５才から...
ネットワーク障害アラーム発生
以下の構成を例とします。
ABC社大阪支店のネットワークは、メイン回線とバックアップ回線の２回線が引いてあり、メイン回線に障害が発生したとしてもバックアップ回線を経由して本社と通信が出来るような構成です。※その他登場する会社名は適当です。
ネットワーク障害が発生し、アラームが鳴る。
あなた
大阪支店のメイン回線でアラーム検知を確認しました。30分のタイマーをセットします。
スーパーバイザー
マニュアルを確認後、機器にログインし切り分けをお願いします。
あなたは対応マニュアルを確認し、ネットワーク機器へログインしログを見る。
あなた
●時●分にインターフェースがダウンしたログがあり現在も継続しています。
あなた
・・・バックアップ回線に通信が迂回しているため、実際の業務影響はないと思われます。
スーパーバイザー
分かりました。ではお客様へ障害発生のメール送付と、電話連絡をお願いします。私は回線調査部門へ調査依頼の連絡をします。
あなたはメールの送付を完了させる。
お客様へ障害通知
あなた
私、もしもしコミュニケーションズの佐藤と申します。お世話になっております。
あなた
ネットワーク障害発生のご連絡となります。●時●分より、大阪支店のメイン回線にてネットワーク断のアラームを検知しております。現在は、バックアップ回線側に通信が流れているため業務影響はございません。
あなた
現在、原因を調査しております。進捗があり次第、メールでお知らせ致します。
回線調査部門へ調査依頼
回線調査担当
お電話ありがとうございます、もしもしテレコム回線調査担当、田中が承ります。
回線調査担当
かしこまりました。それではまず回線IDをお願い致します。
回線調査担当
B-11223344ですね。・・・確認がとれました。お客様名が株式会社ABCで大阪支店のメイン回線、でお間違いないでしょうか。
スーパーバイザー
●時●分より、インターフェースダウンのアラームを検知しています。現在も継続してダウンしたままとなっています。
回線調査担当
●時●分よりインターフェースダウンが継続している、ですね。かしこまりました。回線調査を開始致します。進捗があり次第、ご連絡致します。
お客さまクレームを受け、エスカレーション
お客さまから入電する。
あなた
お待たせ致しました。もしもしコミュニケーションズの佐藤と申します。
お客さま
株式会社ABCの鈴木です。大阪支店の障害、発生から３時間も経って１回もアップデートがないんだけど。一体どうなってるんですか？メイン回線の障害だってこと分かってる？
あなた
大変申し訳ございません。現在、別のものが回線調査部門と会話しておりますが、切り分けに時間がかかっている状況でございます。詳細を確認しておりますので、もう少々お待ちいただけますでしょうか。
お客さま
３時間も経って何の進捗も連絡もないっておかしいでしょ？
あなた
ご迷惑をおかけしており申し訳ございません。すぐに進捗を報告させるよう強く申し伝えます。
お客さま
１５分以内に、何かしら進捗を出すようにしてください。バックアップ回線だけでは通信を救済しきれていません。通信が遅くなっていて業務影響が出てるんですよ。
あなた
かしこまりました。業務影響が出ている旨を伝え、調査部門側で対応レベルを上げるように要請致します。折り返しご連絡致しますのでもう少々お待ちください。それでは、一旦失礼致します。
お客さまの温度感が高いと判断し、マネージャーへエスカレーションの電話をする。
あなた
大阪支店のメイン回線が３時間以上継続断になっているのですが、お客さまから業務影響が出ている旨クレームの連絡があったためご報告です。バックアップ回線は正常に稼働しているのですが、回線が細いため通信を救済しきれていません。調査部門からは具体的な調査の進捗が全く出てこない状況ですが、お客さまから15分以内に進捗を報告するように言われています。
マネージャー
状況は分かりました。私の方から調査部門のマネージャーへ緊急度を上げて対応するように強く依頼しておきます。温度感が高そうなのでお客さまへの連絡も私からしておきます。佐藤さんは、調査部門へこまめにプッシュし進捗を得られるように努めてください。
復旧アラーム検知
復旧アラームを検知。
あなた
大阪支店のメイン回線の復旧アラームを確認しました。30分のタイマーをセットします。
ネットワーク機器へログインしログを確認する。
あなた
●時●分に、ダウンしていたインターフェースがアップし、それと同時にBGPネイバーの再確立のログがあります。自動的にメインとバックアップが切り替わっていてトラフィックもメイン側で流れているため復旧したと判断できます。
スーパーバイザー
分かりました。ではお客様へ障害復旧のメール送付と、電話連絡をお願いします。私は調査部門へ復旧措置の内容を確認します。
あなたは復旧メールの送付を完了させる。
お客様へ復旧通知
あなた
私、もしもしコミュニケーションズの佐藤と申します。お世話になっております。
あなた
ネットワーク障害復旧のご連絡となります。●時●分より大阪支店のメイン回線にて発生していたネットワーク障害は●時●分に復旧したことを確認致しました。
お客さま
はい、確かにこちらでも通信速度がそのあたりから改善されていたような気がします。
あなた
この度は、復旧まで３時間以上もの時間が掛かってしまい、大変ご迷惑をおかけ致しました。現在、復旧措置と障害原因を調査しております。分かり次第、追ってメールにてご連絡致します。
回線調査部門へ障害原因を確認
回線調査担当
お電話ありがとうございます、もしもしテレコム回線調査担当、田中が承ります。
スーパーバイザー
回線障害について確認したいのですが、チケット番号がA123となります。
解説：
障害１つ１つに固有の識別番号を割り当て、１障害を「１チケット」という形で発生から原因追究までの全てのやりとり(履歴)を管理するシステムでした。例えば「今月障害チケット何枚だっけ？」「１５枚です」のような会話が成り立ちます。
回線調査担当
かしこまりました。チケットの履歴を確認致しますので少々お待ちください。
～電話保留～
回線調査担当
大変お待たせしました。株式会社ABC様大阪支店の障害についてでお間違いないでしょうか。
スーパーバイザー
●時●分に障害が復旧していますが、障害原因と復旧措置について情報はあるでしょうか。
回線調査担当
チケットの内容を確認致します。・・・・・・お待たせ致しました。伝送装置ケーブルの劣化が原因であり、復旧措置はケーブルの交換との情報がございます。
スーパーバイザー
ケーブルの劣化が原因、ケーブル交換で復旧ですね。なぜ、復旧まで３時間以上もかかったのでしょうか。
回線調査担当
確認致します。・・・・これ以上の情報は開示できないとの作業員からのアップデートがあります。大変申し訳ございませんが、時間がかかった理由については不明となってしまいます。
スーパーバイザー
詳細情報は不開示ということですね。分かりました。本件は対応終了にしていただいて構いません。
原因報告のメールを送付する。
以上で、１件の障害対応が完了。
まとめ：本電話応対の反省点
よくありがちな電話応対を再現してみました。
通信影響ないと思ったら、実はあったパターン。これは本当によくあります。回線がバックアップ回線側へ切り替わっただけでなく、切り替わった結果、帯域オーバーになっていないか(トラフィックバーストと言います)をしっかり確認することが大事。
ネットワーク運用監視は淡々とマニュアルに従ってやれば出来る業務ではあるのですが、「この障害によって実際に使っているお客さま影響はどれほどか」「影響を最小にとどめるための行動は何か」を考えながらやるととても奥が深い仕事になります。自分の取る行動によって、お客さま企業の売上に悪影響を与えるかもしれないのです。
今回の例では「業務影響はない」とお客さまへ報告してしまいましたが、バックアップ回線の実際の使用率まで確認できていれば報告の内容も変わり、調査部門へも最初から強く「影響出てるから復旧を急げ」と圧をかけたりできたはずです。結果的にクレームを防ぐこともできたかもしれません。
しかし、クレームをもらった後にすぐマネージャへエスカレーションをしているのは、これ以上影響を大きくさせないためには必須の行動だったといえます。
以上、ネットワーク運用監視オペレーターの障害対応はなにをやるのか？でした。
無料でプログラミング/ITインフラスキルを習得するならGEEK JOB
- プログラミング・ネットワーク/サーバー研修からIT企業内定まで無料サポート
- 履歴書・職務経歴書の書き方が分からなくても、手伝ってくれる
- 完全オンライン学習で、日本全国どこに住んでいても受講できる
まずは、オンライン説明会から
GEEK JOB公式サイトへ ≫
