行業(yè)的進(jìn)步，離不開從業(yè)者的奮斗與思考。在多年的讀者來稿中，HIT專家網(wǎng)有幸見證了一批愛鉆研、勤思考的作者的進(jìn)步與成長，更有幸能與更多讀者分享這些思考的閃光點。

醫(yī)院在使用信息軟件過程中產(chǎn)生了海量數(shù)據(jù)，這些數(shù)據(jù)信息會存放到不同類型的數(shù)據(jù)庫中。作為信息軟件的后臺，數(shù)據(jù)庫起到了關(guān)鍵支撐作用。數(shù)據(jù)庫的故障或者損壞，會導(dǎo)致前臺業(yè)務(wù)軟件不能正常運行；如果數(shù)據(jù)丟失，更是會給醫(yī)院和患者帶來不可估量的損失。因此，醫(yī)院對數(shù)據(jù)庫中的海量數(shù)據(jù)進(jìn)行備份和恢復(fù)，就顯得尤為重要。

本文從筆者經(jīng)歷的一個真實案例談起，與業(yè)界同仁共同探討醫(yī)院信息科應(yīng)如何做好數(shù)據(jù)備份與恢復(fù)的問題。

十萬火急！一個醫(yī)院數(shù)據(jù)庫損壞的真實案例

先介紹一下案例中這家醫(yī)院的信息化建設(shè)情況：醫(yī)院各類信息化、智能化系統(tǒng)加起來共有88個，基本的醫(yī)療業(yè)務(wù)運行模塊，如HIS、CIS、NIS、 LIS、PACS、RIS、院感系統(tǒng)等都已經(jīng)上線兩年，但還有部分模塊未上線，項目未正式驗收。服務(wù)器采用7臺物理主機(jī)組成的虛擬化平臺，存儲采用雙活解決方案。HIS、CIS、NIS、LIS、PACS、RIS等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫均在虛擬服務(wù)器中運行，備份方法通過SQL作業(yè)異地差異備份，每3小時備份一次到災(zāi)備機(jī)房服務(wù)器上，此外通過備份一體機(jī)進(jìn)行主營業(yè)務(wù)操作系統(tǒng)備份與主營業(yè)務(wù)數(shù)據(jù)庫完整備份。LIS、PACS系統(tǒng)分別安裝在兩臺虛擬服務(wù)器中，HIS、NIS、CIS系統(tǒng)安裝在一個數(shù)據(jù)庫中應(yīng)用不同的實例。總體備份時間窗口比較緊張，在備份高峰期偶爾會出現(xiàn)系統(tǒng)卡頓現(xiàn)象。

某日半夜11點，這家醫(yī)院的值班人員接到多個療區(qū)及門診醫(yī)生電話，反饋醫(yī)生站系統(tǒng)報錯。值班人員遂聯(lián)系信息科工程師及管理人員到場，檢查發(fā)現(xiàn)：數(shù)據(jù)庫系統(tǒng)日志突然劇增，導(dǎo)致整個存儲盤爆滿。關(guān)于SQL數(shù)據(jù)庫事務(wù)日志的意外增大或充滿整個存儲空間的原因和預(yù)防方法，在此不再贅述。在場的信息科人員首先想到的解決方法是收縮數(shù)據(jù)庫日志，但是經(jīng)過幾次操作無效。此時急診等一些療區(qū)已經(jīng)電話不斷，不論是白天還是黑夜，信息科的電話如果變得如此熱鬧，絕不是什么好事。為了盡快解決問題，讓臨床盡快恢復(fù)工作，現(xiàn)場人員雖然知道通過分離數(shù)據(jù)庫進(jìn)行刪除日志的操作風(fēng)險很大，但卻是此時解決問題的最快辦法。

懷著忐忑的心情，工程師進(jìn)行了刪除日志、附加數(shù)據(jù)庫的操作，結(jié)果提示錯誤。反復(fù)操作多次，系統(tǒng)仍然報錯。在場的每一位人員都臉色凝重、心情沉重，每一次鈴聲的響起都刺激著每個人的神經(jīng)。時間已經(jīng)過去兩個小時，如果再不盡快恢復(fù)，天亮后患者前來就診，門診醫(yī)生站依然存在故障，那將是一次很大的事故。

此時啟動應(yīng)急預(yù)案，還為時尚早。現(xiàn)場人員共同的想法是：無論如何也要在天亮之前把系統(tǒng)恢復(fù)，起碼要保證讓門診醫(yī)生站能看病。當(dāng)機(jī)立斷，工程師決定利用最近一次的差異備份還原系統(tǒng)。令人傻眼的是，備份數(shù)據(jù)仍然報錯。此時真有點“心如死灰”，只能用備份一體機(jī)將前一天的完整備份進(jìn)行恢復(fù)。備份一體機(jī)是在年前剛剛采購的，工程師對備份數(shù)據(jù)進(jìn)行了還原測試，但差異備份失敗，不知備份一體機(jī)中的備份數(shù)據(jù)是否能用。為了確保安全，醫(yī)院信息科在凌晨1點多給廠家打去電話，請求支援。硬件廠家十分給力，技術(shù)工程師半夜起床給予支持。

時間一點點過去，看著還原數(shù)據(jù)庫的進(jìn)度在一點點增加，整個心都在煎熬。可以說那一刻，現(xiàn)場的每個人都希望青春快點流逝，數(shù)據(jù)庫還原能瞬間完成。等到數(shù)據(jù)庫還原完成，已經(jīng)是凌晨5點多了。醫(yī)生站終于能正常啟動了，但由于數(shù)據(jù)庫只恢復(fù)到前一天，也就是醫(yī)生站缺少了前一天的數(shù)據(jù)。幸運的是，前一天是周日，就診患者不多，產(chǎn)生的數(shù)據(jù)量并不大，但仍然造成了與HIS、NIS等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)不同步。

具體查看醫(yī)生站和進(jìn)行分析后，醫(yī)院信息科得到如下結(jié)果：（1）前一天住院和門診就診的患者信息，在醫(yī)生站中丟失。（2）前一天在院患者開立的長期醫(yī)囑、臨時醫(yī)囑、會診記錄，丟失。（3）前一天在院患者的長期醫(yī)囑、臨時醫(yī)囑，如果進(jìn)行停止、取消等操作后，狀態(tài)顯示未變。（4）前一天的患者出院、出區(qū)、轉(zhuǎn)科等信息，醫(yī)生站未能同步，仍然顯示“在科”狀態(tài)。（5）安排人員到門診進(jìn)行測試，完成掛號、收費環(huán)節(jié)再到醫(yī)生站開立新醫(yī)囑時，系統(tǒng)提示檢查、檢驗項目的醫(yī)囑已經(jīng)執(zhí)行，醫(yī)囑不能保存發(fā)送到HIS收費系統(tǒng)，提示報錯，分析原因是醫(yī)生站的前一天數(shù)據(jù)丟失，醫(yī)生站在開立醫(yī)囑時，醫(yī)囑相關(guān)信息等產(chǎn)生的關(guān)鍵序號在HIS、NIS系統(tǒng)中已經(jīng)存在，不能重復(fù)使用，所以產(chǎn)生沖突。（6）前一天新建的患者病案及病程記錄，在電子病歷系統(tǒng)中丟失。

發(fā)現(xiàn)上述主要問題時，已經(jīng)是早上6點左右，大量患者即將來院就診。為確?；颊吣軌蝽樌驮\，醫(yī)院信息科啟動了應(yīng)急預(yù)案，發(fā)布通知：臨床、醫(yī)技、財務(wù)收款、藥房等部門，準(zhǔn)備各種三聯(lián)手寫單據(jù)，備好應(yīng)急系統(tǒng)信息包，準(zhǔn)備醫(yī)囑、三目收費價格表（基本醫(yī)療保險藥品目錄、診療項目目錄、醫(yī)療服務(wù)設(shè)施標(biāo)準(zhǔn)）等，供門診、臨床使用。

此時，軟件公司的研發(fā)人員還沒有聯(lián)系上，醫(yī)院信息科人員和現(xiàn)場工程師要解決醫(yī)囑不能發(fā)送保存的問題，讓醫(yī)生新開的醫(yī)囑序號不與HIS、NIS系統(tǒng)重復(fù)，必須修改種子庫表（序號發(fā)生表）。經(jīng)過數(shù)據(jù)跟蹤，現(xiàn)場工程師發(fā)現(xiàn)了種子庫表。此時也終于聯(lián)系上了軟件公司的研發(fā)工程師，得到確認(rèn)后的解決方案是：需要在種子庫表的主鍵列屬性中標(biāo)識種子數(shù)，也即在當(dāng)前數(shù)據(jù)上都加入“100000”作為序號列的起始。時間緊迫，工程師先備份原表，并立即修改種子表。修改完成后，到門診進(jìn)行了全流程測試，測試正常，門診業(yè)務(wù)可以恢復(fù)，但需要對前一天的復(fù)診患者給予掛優(yōu)診號處理。早上7點多，門診醫(yī)生站撤銷了應(yīng)急預(yù)案，恢復(fù)正常業(yè)務(wù)，所幸沒有因信息系統(tǒng)故障造成門診秩序的混亂。

至于住院醫(yī)生站數(shù)據(jù)缺失的數(shù)據(jù)及相關(guān)項目、事務(wù)狀態(tài)，考慮可以參照NIS系統(tǒng)護(hù)理站的數(shù)據(jù)進(jìn)行恢復(fù)。經(jīng)電話溝通研發(fā)工程師，信息科及現(xiàn)場工程師根據(jù)其給出的解決意見，首先通過對比護(hù)士站的數(shù)據(jù)和HIS系統(tǒng)數(shù)據(jù)，對前一天新入院患者、轉(zhuǎn)科患者、轉(zhuǎn)床患者進(jìn)行信息狀態(tài)改變，使醫(yī)生站能夠正常顯示患者信息。接著，根據(jù)護(hù)士站的醫(yī)囑狀態(tài)信息對前一天做出改變的醫(yī)囑狀態(tài)進(jìn)行更改，也即按照醫(yī)生站系統(tǒng)表結(jié)構(gòu)，使用SQL語句執(zhí)行插入丟失的前一天醫(yī)囑信息。以上操作完成之后，請臨床主管醫(yī)生和護(hù)士核對所負(fù)責(zé)患者的醫(yī)囑信息是否正確。至于部分沒有可參照數(shù)據(jù)的、已丟失的病程記錄等信息，只能進(jìn)行補(bǔ)錄。

由于數(shù)據(jù)不同步產(chǎn)生的一些問題，雖然上文描述比較簡單，實際操作卻很繁瑣。期間還會遇到一些其它問題，比如增加序號列數(shù)據(jù)后，導(dǎo)致個別接口的數(shù)據(jù)字段或數(shù)據(jù)類型超限，出現(xiàn)報錯等情況出現(xiàn)。

導(dǎo)致數(shù)據(jù)庫損壞和數(shù)據(jù)丟失的原因

目前醫(yī)療行業(yè)的常用數(shù)據(jù)庫包括Oracle、MySQL、DB2、SQL Server、PostgreSQL、Sybase數(shù)據(jù)庫等。許多軟件生產(chǎn)商開發(fā)的醫(yī)療業(yè)務(wù)系統(tǒng)，大多使用了其中一種或兩種以上數(shù)據(jù)庫。即使是只使用某一種數(shù)據(jù)庫開發(fā)的軟件，考慮到運行壓力或系統(tǒng)需要，也會分庫或分實例分開建立。雖然有些系統(tǒng)可以進(jìn)行一體化設(shè)計，但也可能因某些銷售目的將系統(tǒng)和數(shù)據(jù)庫分開，達(dá)到方便銷售、客戶可選的需要。

導(dǎo)致數(shù)據(jù)庫損壞和數(shù)據(jù)丟失的原因有很多。在更新或插入數(shù)據(jù)時，數(shù)據(jù)一般需要先在內(nèi)存中駐留，如SQL會通過CheckPoint和Lazy Writer等過程將內(nèi)存中的數(shù)據(jù)持久化到磁盤。如果磁盤出現(xiàn)壞道，或受硬件環(huán)境影響（如電磁干擾、電壓、斷電、溫度、潮濕等），或是軟件前端及數(shù)據(jù)庫本身故障、網(wǎng)絡(luò)中斷、病毒感染、人為誤操作等原因，都會導(dǎo)致數(shù)據(jù)庫損壞或數(shù)據(jù)丟失。

解決數(shù)據(jù)庫損壞和數(shù)據(jù)丟失最有效的方法，就是通過備份數(shù)據(jù)進(jìn)行還原操作。目前數(shù)據(jù)庫備份技術(shù)大致有LAN 備份、LAN Free備份和SAN Server-Free備份三種，備份策略可分為完整備份、增量備份、差分備份等。一般采用的熱備份工具，除應(yīng)用系統(tǒng)本身的備份工具外，還有很多第三方工具。

根據(jù)《信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》（GB/T 20988-2007），將災(zāi)難恢復(fù)能力劃分為 6 級。其中第6級的災(zāi)難恢復(fù)能力等級最高，對于數(shù)據(jù)備份系統(tǒng)的要求是“完全數(shù)據(jù)備份至少每天一次，備份介質(zhì)場外存放，遠(yuǎn)程短視頻實時備份，實現(xiàn)數(shù)據(jù)零丟失”。這對信息系統(tǒng)的保護(hù)效果無疑是更好的，但同時成本也會急劇上升。

當(dāng)前，醫(yī)院信息化建設(shè)不斷加大投入，但能實現(xiàn)“數(shù)據(jù)零丟失”的醫(yī)院可能不多。原因之一就是前文提到醫(yī)院信息系統(tǒng)模塊繁多，同時使用了一種或幾種不同的數(shù)據(jù)庫。有的系統(tǒng)上線后，數(shù)據(jù)庫文件逐步增大，數(shù)據(jù)庫的備份和還原耗時很長。由于硬件系統(tǒng)資源有限，不可能對所有的業(yè)務(wù)數(shù)據(jù)庫同時備份。在線備份時，即使同一時點備份的數(shù)據(jù)庫也不可能同時完成。在業(yè)務(wù)量非常大的情況下，也會出現(xiàn)備份數(shù)據(jù)在各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫不能同步等問題。這些都為醫(yī)院的數(shù)據(jù)維護(hù)帶來了隱憂。

幾點思考與總結(jié)

雖然數(shù)據(jù)庫損壞的情況不常見，但其危害是極其嚴(yán)重的。加強(qiáng)數(shù)據(jù)庫的管理是重中之重，筆者對此進(jìn)行了一些思考與總結(jié)。

首先，醫(yī)院信息科要根據(jù)業(yè)務(wù)的重要程度，合理選擇數(shù)據(jù)庫備份技術(shù)、方法和策略。對相關(guān)的備份文件進(jìn)行定期還原測試，認(rèn)真執(zhí)行相關(guān)應(yīng)急演練。這也是國家信息安全等級保護(hù)制度及政策提出的要求。

其次，平時要掌握數(shù)據(jù)備份和恢復(fù)及存儲拷貝文件的大致時間，掌握業(yè)務(wù)恢復(fù)時間，便于發(fā)生問題時能夠準(zhǔn)確判斷是否需要、何時應(yīng)該啟動應(yīng)急預(yù)案，做到操作時心中有數(shù)。

第三，要掌握各醫(yī)療業(yè)務(wù)系統(tǒng)軟件的表結(jié)構(gòu)、數(shù)據(jù)關(guān)系及數(shù)據(jù)流和數(shù)據(jù)同步內(nèi)容。當(dāng)出現(xiàn)數(shù)據(jù)不同步時，能在最短時間內(nèi)進(jìn)行恢復(fù)解決，盡快恢復(fù)業(yè)務(wù)，減少損失。

第四，如果醫(yī)院互通數(shù)據(jù)的各主要業(yè)務(wù)系統(tǒng)應(yīng)用的是不同的數(shù)據(jù)庫或?qū)嵗稍诟鱾€系統(tǒng)建立主數(shù)據(jù)表，保證兩個數(shù)據(jù)表的表結(jié)構(gòu)一致、事務(wù)記錄狀態(tài)在各個系統(tǒng)保存本質(zhì)特征，這樣在出現(xiàn)兩個系統(tǒng)數(shù)據(jù)不同步時，可以快速查詢恢復(fù)。

第五，建議軟件公司建立專業(yè)應(yīng)急支援小組，服務(wù)醫(yī)院客戶。當(dāng)客戶遇到緊急問題時，也能盡快投身于搶救工作中，讓客戶有依靠，盡可能地幫助客戶減少損失。這樣的軟件公司才能贏得更好的口碑。

醫(yī)院信息科的人員是繁忙的、工作是雜亂的、心是忐忑的。天有不測風(fēng)云，只有未雨綢繆，提前制定好數(shù)據(jù)庫備份策略、數(shù)據(jù)還原的方法，加強(qiáng)日常數(shù)據(jù)庫的維護(hù)管理，始終有著“備份、備份、再備份、冗余再加一”的思想，才能在出現(xiàn)問題時泰然自若、游刃有余，才能讓信息化為我們的工作帶來更好的價值，而不是“事故”甚至是“災(zāi)難”。