江蘇長田信息科技有限公司是一家專注智慧校園建設領域的服務型企業，打造覆蓋 “教、學、考、評、管” 全場景的智慧校園一體化解決方案，構建集智慧教學、智慧管理、智慧服務、智慧安防于一體的校園數字生態，打通校園各系統數據壁壘，實現資源共享、業務協同與數據互通。
一、測試策劃與準備階段
1.1 明確測試范圍
確定本次要驗證自愈能力的對象：
應用服務：統一門戶、教務、學工、一卡通、考勤、數據中臺
中間件：應用服務器、消息隊列、緩存、API 網關
數據庫：主庫、備庫、集群
網絡：核心交換機、匯聚、AC、AP、鏈路、VLAN
硬件：服務器、存儲、PDU、UPS
終端：門禁、消費機、攝像頭、班牌
業務流程：登錄、選課、消費、考勤、推送、數據同步
1.2 制定測試通過準則（量化）
服務自愈：進程異常終止后 ≤3 分鐘自動恢復
數據庫主從切換：≤5 分鐘，業務無感知
網絡故障自愈：≤1 分鐘鏈路恢復，會話不中斷
數據一致性：故障前后數據一致，無丟失、無重復、無臟數據
業務連續性：核心功能可用，無需人工干預
自愈成功率：≥99%
1.3 環境準備
確認測試環境（試運行 / 仿真環境），嚴禁直接在生產環境破壞性測試
完成全量數據備份
部署監控：服務狀態、CPU / 內存 / 磁盤 / 連接數 / 接口成功率
準備工具：
進程管理工具（taskkill、kill、systemd）
網絡模擬工具（Fiddler、交換機端口控制）
數據庫客戶端
PDU/UPS 斷電模擬
門禁 / 消費測試卡
瀏覽器、APP、監控平臺
1.4 人員分工
測試負責人：統籌、記錄、判定
系統工程師：模擬服務 / 數據庫 / 硬件故障
網絡工程師：模擬斷網、閃斷、鏈路切換
業務驗證人員：教師端 / 學生端 / 管理端操作驗證
監控人員：實時觀察指標、日志、告警
二、基線采集階段（測試前必須做）
檢查所有系統正常運行，無告警、無報錯
記錄基線指標：
各服務進程狀態
數據庫連接數、主從狀態
網絡延遲、丟包率
接口響應時間
業務功能可用情況
執行一次完整業務流程并記錄結果：
登錄→選課→查詢成績→考勤打卡→消費→門禁通行
確認監控、日志系統正常，可追溯自愈行為
三、分場景故障模擬與自愈驗證階段
每個場景嚴格按：故障注入 → 持續監控 → 等待自愈 → 業務驗證 → 數據核對 → 記錄結果
場景 1：應用服務進程異常崩潰
手動 kill 核心應用服務進程（如統一門戶、教務服務）
監控觀察：
是否自動重啟、重新注冊
重啟耗時
有無報錯、死循環
業務驗證：
頁面能否正常打開
接口能否正常調用
登錄、查詢是否正常
數據驗證：故障前后數據一致
記錄：自愈時間、是否成功、是否人工干預
場景 2：中間件 / 緩存異常自愈
關閉 Redis、RabbitMQ 等關鍵中間件
觀察應用是否熔斷、降級、自動重連
恢復中間件后，系統是否自動恢復業務
驗證消息不丟失、緩存數據一致
場景 3：數據庫主庫故障
關閉主庫服務或斷開主庫網絡
觀察：
是否自動觸發主從切換
VIP 是否漂移
應用是否自動連接新主庫
業務驗證：讀寫正常、無卡頓、無報錯
數據驗證：主從數據一致，無丟失
場景 4：網絡鏈路中斷 & 閃斷
拔掉核心交換機上聯線 / 關閉端口
觀察：
冗余鏈路是否自動切換
漫游、會話保持是否正常
模擬弱網、高延遲、頻繁閃斷
驗證：
重連后無需重新登錄
提交不重復、不丟單
門禁 / 消費斷網后可離線，聯網自動補傳
場景 5：單臺服務器宕機
關閉集群中一臺應用服務器
觀察負載均衡器是否自動剔除節點
流量自動切換到其他節點
業務全程不中斷、用戶無感知
場景 6：服務器突然斷電
通過 PDU 遠程斷電再上電
觀察：
服務器上電后系統自動啟動
服務自啟動、數據庫自動拉起
無數據損壞、無事務丟失
業務全功能驗證
場景 7：磁盤滿 / 資源耗盡
模擬磁盤空間
觀察系統是否告警、自動清理日志
釋放空間后，服務是否自動恢復
不宕機、不崩潰、不卡死
場景 8：高并發過載自愈
使用壓測工具模擬選課 / 迎新高峰
觀察系統是否限流、降級、自我保護
停止壓測后，系統是否快速恢復正常
無雪崩、無死鎖、無長期阻塞
場景 9：第三方接口超時 / 異常
模擬一卡通、門禁、第三方平臺接口超時
觀察應用是否熔斷、重試、降級
第三方恢復后，系統自動恢復
不影響核心平臺運行
場景 10：定時任務 / 同步任務失敗
手動中斷夜間數據同步任務
觀察是否自動重試、補跑
次日數據完整、無缺失
四、自愈效果綜合判定
對每個場景統一判定三要素：
是否自動恢復：無需人工登錄、啟動、執行命令
恢復時長是否達標：在準則時間內
數據與業務是否正常：無丟、無重、無錯、可用
判定等級：
通過：全部滿足
基本通過：輕微超時但可自動恢復
不通過：需人工干預 / 數據異常 / 業務不可用
本文章來自:江蘇長田信息科技有限公司
編輯人:任女士
聯系電話:18912980027
VX:TRENDY_001
轉發請注明