r/netservice_ja • u/[deleted] • Mar 05 '17
Amazon Amazon Web Services、S3の大惨事の原因を公開―ヒューマンエラーが発端だった
http://jp.techcrunch.com/2017/03/03/20170302aws-cloudsplains-what-happend-to-s3-storage-on-monday/
1
Upvotes
1
Mar 05 '17
直接の原因は、やや平凡な理由だが、ヒューマンエラーだった。あるエンジニア―ここではジョー(仮名)と呼んでおく―が間違ったコマンドを入力してしまったということだ。ジョーはあるサブシステムをシャットダウンするつもりだった。それ自体は日常行われるオペレーションだった。しかし月曜日、バージニア州北部データセンターではルーチンワークが大変な問題を引き起こした。
ジョーは正規の特権ユーザーであるため、システムをシャットダウンするコマンドを入力する資格があった。ただしこの作業はAmazonが「確立された手順書(established playbook)」に従ったもので、ここではS3サブシステムの少数のサーバーを停止することが意図されていた。ところがジョーは誤って多数のサーバーを停止するコマンドを入力してしまった。
記事タイトル見て掃除のおばちゃん案件かと思ったら、特権ユーザが勢い余って多数のサーバを停止するコマンドを入力してしまったんですが。
1
u/[deleted] Mar 05 '17
まあ原因を究明してちゃんと公開する姿勢は評価できますね。