產線系統半夜宕機，我們怎麼讓它分鐘級拉起：Linux生產環境災備筆記

去年冬天，一家客戶的 MES 伺服器在半夜崩了。不是程式出錯，是那臺跑了三年的老伺服器主機板燒了。排產系統停擺，第二天上午現場等了半天才恢復。事後他們問摩傑斯，這種事能不能不靠運氣。後來我們幫他們把生產環境重新搭了一遍，核心就一句話：別把命壓在一臺機器上。

一、先分清熱備和冷備各管什麼

熱備解決的是"馬上能用"：兩臺伺服器實時同步，一臺倒了另一臺秒級接管，業務不掉。冷備解決的是"丟了能找回來"：每天定時把資料完整拷一份到異地，真出了硬體報廢這種大事，至少能把資料撈回來重搭。兩者不是二選一，是各管一段。很多工廠只做了冷備，結果切換要幾小時，熱備才是停機的真正對手。

二、把切換演練當成例行動作

雙機熱備最怕的是"平時不切、出事切不動"。我們給這家廠定了個規矩：每季度挑一個週末，真把主伺服器關掉，看備用機能不能正常接管、資料齊不齊。頭兩次演練都暴露了配置漏項，要是真出事那天才發現，就不是停半天的事了。演練這種事，省不掉。

三、監控要盯到"能報警"而不是"能看"

伺服器不是亮著燈就健康。我們給生產環境加了基礎監控，磁碟滿了、記憶體撐爆、服務程序掉了，能在出問題前就告警，而不是等現場打電話來說系統打不開。告警接的是值班手機，不是郵箱。等發現再處理，和提前十分鐘處理，差別就是停不停產。

四、生產系統要和業務系統分開養

這家廠以前把 MES、資料庫、還有別的小工具全堆在一臺機器上，一臺倒全部倒。我們後來把生產資料庫單獨放在高可用叢集裡，應用層分開部署。生產系統牽扯到現場每一道製程，值得單獨養、重點保，不能跟邊緣工具擠一個籃子。

五、把這些寫進上線清單

我們給工廠做 MES 落地時，會把雙機熱備、定時冷備、監控告警、切換演練直接寫進上線清單，系統交付時這幾樣是標配，不是出了事再補。產線一旦跑起來，系統多停一小時就是實打實的產量損失，災備方案得跟系統一起交。

總結：

Linux 生產環境災備，說穿了就是別賭單機不死、別賭備份能救、別賭出事能切。雙機熱備管切換、冷備管兜底、演練管可信、監控管提前量，四樣都齊，生產系統才敢說穩。摩傑斯在給工廠做生產管理數字化時，這套動作幾乎是每家都要補課的部分，提前規劃比停機後救火划算太多。崑山、蘇州一帶的工廠如果生產系統災備心裡沒底，可以找摩傑斯一起補課。

相關閱讀：《工廠 IT 服務總覽》把這幾類問題都歸了類；同一主題下還有《系統為什麼跑在 Linux 上》、《伺服器負載飆高的排查順序》。