【重要】2月27日に発生致しましたサービスサーバー群のネットワーク障害について 　　[ 2014.03.14 ]

拝啓　貴社ますますご清栄のこととお慶び申し上げます。また、平素は弊社サービスを
ご利用頂きまして、誠にありがとうございます。
　2014年2月27日（木）19時16分頃から19時29分頃にかけまして、弊社サービスサーバー
群においてネットワーク障害が発生し、収容されているサービスにて通信断によりご利
用
いただけない状態となりました。
　ご利用のお客様には多大なるご迷惑をお掛けしたこと、お詫び申し上げます。
本件につきまして下記のとおりご報告いたします。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　敬
具

　　　　　　　　　　　　　　　　　　　　記

1.　発生事象

発生時刻： 2014年2月27日（木）19時16分頃
復旧時刻： 2014年2月27日（木）19時29分頃
発生事象： 弊社サービスサーバー群のネットワーク・トラフィックのストーム
影響内容： サービス用の仮想マシンと通信できなくなり、サービスのご利用が
いただけなくなりました。

2.　発生原因
　上位キャリアサービスサーバー群のネットワーク・トラフィックのストームが起因と
な
りました。
　2014年2月27日（木）に上位キャリアサービスサーバー群において、UTM装置の増設工
事
を実施いたしておりました。増設工事において、UTM装置を本番環境に接続して、ネット
ワーク設定を実施したところストームが発生しました。
　ストームの発生につきましては、UTM装置の設定の不備となります。設定内容につきま
しては、装置の保守ベンダーに確認の上で実施いたしましたが、システム構成に関する
共
有情報に齟齬があり、設定内容が構成に合っておりませんでした。

3.　復旧対応
　上位キャリアサーバー群への通信断を検知後、被疑対象をUTM装置と特定し、電源を
OFF
することでネットワークから切り離し、復旧いたしました。

4.　対策
　障害起因となったストーム発生の直接的な原因であるUTM装置の設定不備につきまして
は、設定を修正の上で、検証環境を構築し、動作確認をしてから本番環境に投入いたし
ま
す。

5.　障害時系列

16:00 増設工事を開始

19:16 ネットワーク設定変更中にストームが発生
アラート検知し、障害対応を開始

19:29 被疑対象をUTM装置と判断し、電源をOFFしてネットワークから切り離し
ストームが終息し、復旧

19:39 『【速報】アラート検知のご報告』を配信
障害影響があったサービスについては、順次障害発生・復旧アナウンス配信

20:22 『【障害結果】アラート検知のご報告』を配信
障害復旧していることをご報告

20:59 『【障害結果】アラート検知のご報告』を配信
終報としてご報告

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　以上

一覧に戻る