ANAのシステム障害、イーサネットスイッチが故障 篠辺社長ら減給

  • 2016/03/31 17:24
1 :名無しさん@12周年 : 2016/03/31(木) 04:32:49.72 ID:CAP_USER
 3月22日に国内線旅客システム「エイブル」で発生した障害について、全日本空輸(ANA/NH)は3月30日、4台あるデータベース(DB)サーバーの同期処理を中継する「ネットワーク中継機」の故障が原因だったと発表した。障害発生により、篠辺修社長ら経営陣3人の報酬を1カ月間減額する処分を下した。

―記事の概要―
・同期処理に障害
・7万人以上に影響

■同期処理に障害

 ANAによると、日本ユニシス(8056)が構築した国内線旅客システムのうち、故障したのはネットワーク中継機として使用していた、米シスコシステムズ製イーサネットスイッチ「Catalyst 4948E」。一般的に、有線LANによるネットワーク上の機器などを接続するために使用するもので、障害が発生したシステムでは、4台あるDBサーバー同士を接続するのに使われていた。ネットワーク用語では、「スイッチ」と略されることが多い。

 スイッチが故障したことで、DBサーバー間のデーターの整合性が保てなくなるため、自動的にサーバーを停止する機能が作動。本来であれば、スイッチが故障すると「故障シグナル」を発信し、自動的に予備機に切り替わる設計になっていたが、今回はシグナルが発信されず、予備機に切り替わらなかった。

 障害発生を受け、スイッチがシグナルを出さない状況でも、DBサーバーからスイッチの故障を検知できるよう、24日にシステムを改修。不具合が発生したスイッチは、製造したシスコが解析して故障箇所が判明したため、シスコが改善策を検討しているという。

 また、国内線旅客システム全体を点検し、社外の知見も活用した信頼性を向上させるプロジェクトチームを4月に設置。6月まで3カ月かけ、対策を検討する。

(※続く)

・シスコのCatalyst 4948E(同社サイトから)
http://www.aviationwire.jp/wp-content/uploads/2016/03/160330_cisco_4948e_01-600-300x194.jpg

・羽田空港第2ターミナルでANAのカウンターに並ぶ乗客=16年3月22日 PHOTO: Tadayuki YOSHIKAWA/Aviation Wire
http://www.aviationwire.jp/wp-content/uploads/2016/03/160322_0025_ana_rjtt-640-300x194.jpg

Asahi Giken 2016年3月30日 22:55 JST
http://www.aviationwire.jp/archives/85999

2 :名無しさん@12周年 : 2016/03/31(木) 04:33:31.65 ID:CAP_USER
>>1続き

■7万人以上に影響

 今回のシステム障害が発生したのは、22日午前3時44分。4台あるDBサーバーのうち、1台が停止。残り3台で運用していたが、午前8時22分に4台すべてが停止した。

 その後、午前8時59分に1台を再起動出来たが、DBサーバーを複数立ち上げると不安定な状態が続き、午前9時27分に1台のDBサーバーで運用することを決めた。これにより、空港の自動チェックイン機や旅客係員が使う端末の使用再開に向けて準備作業を開始し、午前11時30分に搭乗手続きに関しては業務を再開できた。

 午後0時46分には予約発券機能が復旧。ANAのウェブサイトによる国内線サービスについても、午後8時10分に復旧した。

 障害の原因となったイーサネットスイッチについては、23日午前1時14分に交換。午前3時5分にDBサーバーの構成を通常の4台に戻した。午前4時14分には、最後まで障害が残っていたエイブルと旅行会社など他社のシステムを接続する部分も復旧した。

 システム障害により欠航した便数は、22日はANAの国内線だけで146便、23日が2便の計148便。影響旅客数は22日が約1万8200人、23日が200人の合わせて約1万8400人にのぼった。遅延便も22日にANAの国内線だけで391便発生し、約5万3700人に影響が及んだ。

 また、同じシステムを使用するスターフライヤー(SFJ/7G、9206)とエア・ドゥ(ADO/HD)、ソラシドエア(旧スカイネットアジア航空、SNJ/6J)、アイベックスエアラインズ(IBX/FW)も影響を受け、ANAと同じトラブルが発生。欠航や遅延が生じた。

 今回の障害発生により、7万人以上の利用者に影響が及んだことから、ANAは篠辺社長ら3人の経営陣に対し、1カ月の報酬減額処分を3月30日付で下した。篠辺社長が20%減額、内薗幸一副社長と、業務プロセス改革を担当する取締役の幸重孝典氏が、それぞれ10%減額となる。

 現在の国内線旅客システムは、2013年7月に稼働。今回の障害発生まで、システムが停止するトラブルは起きていなかった。通常期の予約販売は1台のサーバーで対応できるが、繁忙期は2台分の処理能力が必要だとして、その2倍にあたる4台でシステムを構築した。

 現行の一世代前のシステムでは、2007年5月27日にサーバーのメモリ故障、2008年9月14日に人為的なミスによる障害が発生したが、今回のような顧客データベースの同期に関するトラブルではなかった。2007年のトラブルでは130便が欠航、遅延が464便にのぼり、6万9300人に影響が生じた。2008年は53便が欠航、276便が遅延し、5万4300人に影響が及んだ。

■関連リンク

全日本空輸
シスコシステムズ
日本ユニシス

・ANAのシステム障害、完全復旧 7万2000人影響(16年3月23日)
・ANAのシステム障害が復旧 顧客DBの同期トラブル 7万人影響、146便欠航(16年3月22日)

■関連記事

全日空、ラウンジでiPadなどに雑誌を無料配信 日本ユニシスと
ANA、iPadなどへの新聞雑誌コンテンツ配信を全国に拡大 日本ユニシスと空港ラウンジで
[雑誌]月刊エアライン 16年5月号「ANA国際線30周年」
[雑誌]月刊エアライン 15年5月号「世界と日本のエアライン・フリート」
[雑誌]月刊エアライン 15年4月号「新しいANA」

(終わり)

6 :名無しさん@12周年 : 2016/03/31(木) 04:42:17.57 ID:ZJYXRly8
シグナル来ること前提にしてる設計が悪い

8 :名無しさん@12周年 : 2016/03/31(木) 04:46:14.36 ID:Ax2zXkBW
> 実は旧システム時代の2007年5月に発生した大規模なシステム障害時もシスコのスイッチ不具合が原因だった

シスコだめだめじゃん。

60 :名無しさん@12周年 : 2016/03/31(木) 06:13:59.45 ID:d8lh7j9t
>>8
10年前の教訓が活かせてないと言えば簡単だが、イーサネットスイッチの多重化なんて当時は無茶苦茶に面倒くさかった。

193 :名無しさん@12周年 : 2016/03/31(木) 09:03:18.23 ID:JMh8yV/E
>>8
去年も大規模システムダウンあったし

12 :名無しさん@12周年 : 2016/03/31(木) 04:53:09.40 ID:Ut4fXtja
coregaにしよう

485 :名無しさん@12周年 : 2016/03/31(木) 16:19:22.90 ID:EtCE2rQc
>>12
いゆ、そこはELECOMかBuffaloにしておこうぜ。

19 :名無しさん@12周年 : 2016/03/31(木) 05:05:03.74 ID:KlytyAo0
でも確かにシスコのスイッチはCCNAのテスト以外触ることほとんどないよなw

27 :名無しさん@12周年 : 2016/03/31(木) 05:16:39.44 ID:OI/VgIZ6
リレー機なんてルーターよりもはるかに安いんで、予備を普通に持ってるのが常識

アホというかありえんだろ
常識

なんたって、設定さえいらない機器だぞw

93 :名無しさん@12周年 : 2016/03/31(木) 07:43:46.51 ID:2BzhPjlA
>>27
アホすぎてワロタ

289 :名無しさん@12周年 : 2016/03/31(木) 10:20:26.94 ID:dThcNc2n
>>27
VLANくらいは切ってるだろ

30 :名無しさん@12周年 : 2016/03/31(木) 05:19:31.94 ID:O96tAnN2
シスコは信頼性高いイメージだったけど

75 :名無しさん@12周年 : 2016/03/31(木) 07:24:02.34 ID:/sunec+E
>>30
え⁉︎

76 :名無しさん@12周年 : 2016/03/31(木) 07:24:43.02 ID:JrJbl7/H
>>30
物による

47 :名無しさん@12周年 : 2016/03/31(木) 05:34:51.16 ID:LTtd+Pn/
長々と略の説明してくれるなら、スイッチングHUBである。と書いてよ。

52 :名無しさん@12周年 : 2016/03/31(木) 05:46:22.21 ID:2aGV5mRU
壊れない機械は存在しない

53 :名無しさん@12周年 : 2016/03/31(木) 05:50:17.81 ID:r61ioczK
これがconfig設定がびみょーに間違ってて...
だったら笑う

54 :名無しさん@12周年 : 2016/03/31(木) 05:51:38.54 ID:JXtqCe2j
故障検知のシグナルってSNMPtrapの事なんだろうか。
あんなの絶対飛んでくるとは限らない前提で設計すると思うんだが。

57 :名無しさん@12周年 : 2016/03/31(木) 05:54:47.90 ID:mfWJiE3m
カタリストがカタラッチョになっちまったなw

112 :名無しさん@12周年 : 2016/03/31(木) 08:20:14.83 ID:po4sx6WR
あーこれシスコ倒産だわ

184 :名無しさん@12周年 : 2016/03/31(木) 08:57:58.13 ID:Y3vVgffg
>>112
シスコめっちゃ金持ちだから
今回の損害全額被っても屁でもないよ。

125 :名無しさん@12周年 : 2016/03/31(木) 08:29:00.66 ID:po4sx6WR
ヤマハスイッチのがいいなこれ

127 :名無しさん@12周年 : 2016/03/31(木) 08:29:42.52 ID:NqMghZ0z
GW初日に乗る予定だから今のうちに膿出してくれたみたいなもので良かった

153 :名無しさん@12周年 : 2016/03/31(木) 08:42:35.56 ID:SCX/TVQ3
スイッチ故障が自動検知できなくても、手動で交換すれば良いだけだから、あんな長時間のトラブルには
ならないはず。本当の理由を発表すると困る人間が大勢いるので、落とし所としてスイッチの所為にして
いるだけでは。

161 :名無しさん@12周年 : 2016/03/31(木) 08:46:26.16 ID:FvOQcoqn
経営陣の減給じゃなく運賃を安くしろ

163 :名無しさん@12周年 : 2016/03/31(木) 08:46:34.32 ID:p6P2ADFc
映画とかでネットワークの状況が画面にでるよね。ああいうのはないのか

176 :名無しさん@12周年 : 2016/03/31(木) 08:53:32.59 ID:SVWxHQq+
ネットワーク中継機って何かと思ったらカタリストか。
故障はしょうがないにしても、対策が余りにしょぼすぎる。

180 :名無しさん@12周年 : 2016/03/31(木) 08:55:14.20 ID:toPtaePy
なぜ理系は空気読まずヲタトークみたいに
専門知識を長文で書き込みたがるんだろね

189 :名無しさん@12周年 : 2016/03/31(木) 09:00:12.54 ID:7BZqVozf
思いも寄らぬ中途半端な壊れ方をしたのかもしれんが、スイッチ故障でそんなに時間かかるのも珍しいな。
これ同じ機種導入してる奴らは客から詰められるんだろうなぁ。Ciscoにいなくてよかったw

215 :名無しさん@12周年 : 2016/03/31(木) 09:18:37.43 ID:xRActgXY
システムを1カ所におくからだよ。地震とかも考えてバックアップ
システムを大阪あたりにおいとけ。
そうすりゃ短時間で復旧するだろうが。

337 :名無しさん@12周年 : 2016/03/31(木) 10:46:04.41 ID:Y3vVgffg
>>215
こんだけリアルタイムで更新がかかるDBでしかもFCストレージだから
運用とか切り替え時の担保範囲の特定を容易にすることまで織り込むと
結構難易度が高いと思われる。

235 :名無しさん@12周年 : 2016/03/31(木) 09:29:54.56 ID:pclbU+g4
マジかよケロッグ最低だな

236 :名無しさん@12周年 : 2016/03/31(木) 09:34:27.56 ID:XfRAsZgQ
こーいうの再現ドラマで見たいなー

282 :名無しさん@12周年 : 2016/03/31(木) 10:16:40.98 ID:CoMNXEGH
これだけのシステムで冗長化してないとかありえない。

293 :名無しさん@12周年 : 2016/03/31(木) 10:23:38.08 ID:HXKWKjIs
ネットワークエンジニアって、他社の作った機械の設定を
いじくりまわしてるだけで、プログラム組んでるわけでも
ないんだから、IT業界では最下層でしょw

そんな連中に我々の社会はキンタマ握られてるのかと思うと、
おっそろしいよな

299 :名無しさん@12周年 : 2016/03/31(木) 10:26:30.97 ID:SP6EZ/bc
>>293
それを言ったら、電工なんてすべての産業のキンタマ握っているだろ。w

302 :名無しさん@12周年 : 2016/03/31(木) 10:28:50.57 ID:HXKWKjIs
>>299
やる事の複雑さと、不具合起きた時の社会への影響の度合いが、
全然違うじゃん

307 :名無しさん@12周年 : 2016/03/31(木) 10:30:56.79 ID:toPtaePy
ヲタトークうぜーー
もっと一般人に分かるように説明しろや
職場でもそんなだからドカタ仕事しか任せてもらえないんだろ

308 :名無しさん@12周年 : 2016/03/31(木) 10:32:06.60 ID:GV/OwCdL
すごいここまでほぼなんのことかわからん
こんな専門的な分野なのに薄給とか待遇悪いとかよく聞くよな
介護もそうだけど需要あって専門的なのになぜ待遇悪いのか・・・

316 :名無しさん@12周年 : 2016/03/31(木) 10:36:31.10 ID:kb11nQov
なんか拍子抜けだな。
そんなんで全滅するのかって。

318 :名無しさん@12周年 : 2016/03/31(木) 10:37:49.78 ID:b0RzaSpm
>>316
10年前に同じ個所の不具合で全滅してるんだよ これが

324 :名無しさん@12周年 : 2016/03/31(木) 10:40:38.37 ID:6SQX+rbR
>>316
設計はちゃんとしてたからね。
予期せぬバグは追求するの難しいもんだよ。

335 :名無しさん@12周年 : 2016/03/31(木) 10:45:50.03 ID:oGOvOjRy
>>324
スイッチでここまでここまでなったのって余りないし
ここまでなるとは思ってなかっただろうし、

今後の設計、監視、リカバリ体制も見直されるだろうね、
他所も含めて

319 :名無しさん@12周年 : 2016/03/31(木) 10:39:07.11 ID:X2tMb3hv
ケーブル挿したらリセットボタン押しちゃう設計のスイッチもあったよな>シスコ

320 :名無しさん@12周年 : 2016/03/31(木) 10:39:10.30 ID:OrP3Cie+
こりゃ福一もメルトダウンするわ

358 :名無しさん@12周年 : 2016/03/31(木) 10:56:48.54 ID:3/RxE0o4
なんでもかんでも遠隔で確認しようとするからダメなんだよ。
障害の出てるエリアで問題箇所は即座に判断つくんだろうから、現場に行けばすぐ判っただろうに。

364 :名無しさん@12周年 : 2016/03/31(木) 11:01:09.45 ID:6SQX+rbR
>>358
遠隔から色々わかるように構築したんだよ。現場だってデーターセンターだろうから人はすぐに駆けつけたと思う。外見では今回の障害はわからない。

367 :名無しさん@12周年 : 2016/03/31(木) 11:03:24.38 ID:X1axGwkD
世界がサイバー戦争になったら
最終的にモールス信号を使えるところが生き残ると思う

377 :名無しさん@12周年 : 2016/03/31(木) 11:15:32.72 ID:o7Iz4LKI
間にスイッチ使わないでも同期取れそうだけど

378 :名無しさん@12周年 : 2016/03/31(木) 11:17:59.22 ID:Y3vVgffg
>>377
そりゃあ無理でしょ

379 :名無しさん@12周年 : 2016/03/31(木) 11:19:10.90 ID:6SQX+rbR
>>377
無理。
冗長するシステムにはスイッチは必要。ポートが足りない。

396 :名無しさん@12周年 : 2016/03/31(木) 11:44:54.87 ID:JyhdPgeI
ping死活監視とsnmpトラップがごっちゃになってるな

398 :名無しさん@12周年 : 2016/03/31(木) 12:01:44.07 ID:eCdJ43Cv
DBは多重化してるのにネットワークは多重化してないのか

417 :名無しさん@12周年 : 2016/03/31(木) 12:37:39.33 ID:BFHWZstN
再発防止策はサーバーからもスイッチ故障を検知するってさ

429 :名無しさん@12周年 : 2016/03/31(木) 12:52:25.14 ID:LoTghY+n
>>1
騙リストがやらかしやがったのか。

449 :名無しさん@12周年 : 2016/03/31(木) 13:40:59.12 ID:kKmL83sg
ciscoのバクは明らかとしても、監視装置側にsnmpトラップを解読する設定が入ってなかった可能性もある。

453 :名無しさん@12周年 : 2016/03/31(木) 13:47:51.09 ID:yHUmO67B
shutdownコマンド普通にあるだろ

483 :名無しさん@12周年 : 2016/03/31(木) 16:07:44.72 ID:utat9Z9J
>>453
shutdownなんてインターフェースの操作くらいしかできんわ
電源は落とせない

456 :名無しさん@12周年 : 2016/03/31(木) 14:00:25.18 ID:R04DiFUl
高機能な製品は潜在的にバグが多い
余計な機能のない安スイッチのほうがバグが無い

458 :名無しさん@12周年 : 2016/03/31(木) 14:03:52.51 ID:YNq/YT79
>>456
人力車にでも乗ってろ

465 :名無しさん@12周年 : 2016/03/31(木) 14:22:34.89 ID:yHUmO67B
てか保守ベンダの責任だろ
大元叩いてどうすんだ

469 :名無しさん@12周年 : 2016/03/31(木) 14:51:41.30 ID:C0S8Vsw0
>>465
ハード故障はベンダやシスコの責任じゃないよ。
だってハードは故障するもんだから。
その障害対応の開発をロクスポしなかったANAのシス開の責任。

492 :名無しさん@12周年 : 2016/03/31(木) 17:02:59.39 ID:kKmL83sg
>>469
今回のは故障じゃなく潜在バグっぽいから相当な賠償請求がciscoに行きそう。

493 :名無しさん@12周年 : 2016/03/31(木) 17:06:08.59 ID:FKV9mUw+
>>492
よほど意識的に悪質な挙動でない限り、バグの責任してももらえる損害賠償のMAXは機器製品代まででしょう。

477 :名無しさん@12周年 : 2016/03/31(木) 15:51:25.71 ID:USInMdf/
多ベンダーでシステム組むとこうなるって事だな
障害の切り分けが即座にできない

482 :名無しさん@12周年 : 2016/03/31(木) 16:07:23.36 ID:GLgJGn3H
ハードの故障とかほとんど中国製だから点検が大変だね

Pagination

Comment

Post Your Comment

コメント:登録フォーム
公開設定

Utility

最新記事

26年連続債権国1位 対外純資産、2.9%増の349兆1120億円 2位中国、3位ドイツ
「『女磨き』をおろそかにしていませんか?」ちふれ化粧品のネット広告 「女磨きの押しつけだ」などと批判を受け謝罪
明治、「カールおじさん」は引き続き使用 関西以西で「チーズあじ」「うすあじ」の販売継続
アップルが韓国メディア締め出し 米で開催のWWDC 9月のiPhone8発表会にも韓国人記者は出席困難
ダイエー、拡大路線へ 岡田氏「再び必ず1兆円超える」
大阪からの本社移転、508社 東京・兵庫に集中 流出続く 94-14年度
R32 GT-RにセリカXX… 憧れだった名車たちの中古車相場を徹底調査
動画配信のHulu、システム刷新でつまずく
NHK受信料支払率、過去最高の78・2% 首位は秋田、最下位は沖縄
「セブンカフェ」の自販機が登場! レジでの会計不要で圧倒的に時間短縮
新たな財政健全化目標設定へ 政府が検討に入る
パナソニック工場に「地域限定社員」 2年半の有期雇用→無期雇用に切り替 人手の確保図る
<GDP年2.2%増>暮らし実感薄く 節約志向依然根強く 「マイナス成長に転落する可能性も」[毎日新聞]
任天堂、Switch スプラトゥーン2セットの「箱だけ」発売 なぜ?…転売業者対策との見方も
米Amazon、Amazon Fire TV内蔵4K UHDテレビを発表 43インチで449.99ドル(約5万850円)から

検索フォーム

QRコード

QR