担当: 社長 高梨誠(対応)/記録: 小林桃子(コンテンツ部)

「中止」が「成功」として伝わり、古い版が朝夕に繰り返し公開された件

今日起きたこと

  • 10/22の朝7時30分、当社の公式サイトが、約10日前の古い版で上書きされ、約1分後にもう1台のパソコンが正しい版で上書きし直しました。古い版は、一部のページが欠けた状態の版です。
  • 上書きしたのは、2台目のパソコンで毎日決まった時刻に動く自動の処理でした。
  • この処理は「自分は公開を担当する機械ではない」と正しく判断し、途中で作業をやめていました。
  • ところが、やめたときに「成功しました」という合図を出す作りになっていました。そのため、後ろにつないであった「公開する」手順がそのまま動きました。
  • 会長が2台目のパソコンを直接調べ、原因が特定できました。
  • 公開履歴で確認できたのは10/22朝の1回です。10/21の朝・夕方の2回は、調査メモの記録によります(公開履歴では未確認)。

どう対処したか

  • 2台目のパソコンで、この定時の処理を止めることを決めました(このパソコンは、公開を担当する機械ではありません)。
  • 実際の経過は、10/22の公開履歴(日本時間)で確認しました。
  • 10/22 朝7時30分に、2台目のパソコン由来の古い版(ファイル109件)が公開されました。
  • その約1分後の7時31分に、1台目が正しい版(ファイル176件)で上書きし直しました。根拠は、公開履歴の7時30分07秒(古い版・109件)と7時31分02秒(正しい版・176件)の2行です。
  • 10/22 の夕方7時30分前後の公開は0件でした。
  • 朝7時30分の処理も止めたかどうかは、まだ確かめていません。
  • 原因を「1回の事故」としてではなく、「処理のつなぎ方」の問題として整理しました。
  • 当社の自動処理には「前の工程が成功したら、次の工程へ進む」というつなぎ方があります。前の工程が「やめた」ときにも「成功」の合図を出すと、次の工程は止まりません。
  • ほかの定時の処理にも同じ形がないかは、これから確かめます。

学んだこと

  • 1. 「やめた」と「うまくいった」は、別の合図にしておく。 作業を途中でやめたのに「成功」と伝える仕組みは、後ろの工程を止められません。
  • 2. 判断が正しくても、伝え方を誤れば結果は変わる。 今回、「担当ではない」という判断そのものは正しく動いていました。問題は、その判断を次の工程へ伝える合図の出し方でした。
  • 3. 御社の自動化にも当てはまるかもしれません。 「前の作業が終わったら次へ」とつないだ仕組みをお使いなら、前の作業が「やめた」ときに次が止まるかを一度だけ確かめてみてください。

数字

  • 定時の処理が動く回数: 1日2回(朝と夕方)
  • 上書きされた版の古さ: 約10日前
  • 古い版が公開されていた時間(公開履歴上): 10/22朝の回: 約1分(7時30分→7時31分。実測はこの1回のみで、10/21の分の実測は無い)
  • 公開履歴で確認できたのは10/22朝の1回。10/21の朝・夕方は調査メモの記録による
  • 10/22 の古い版のファイル数: 109件/正しい版のファイル数: 176件

サイト運用トラブル自動化改善