|
|
目前IT行業中，似乎“要不要做持續集成？”已經不再是討論的焦點，取而代之的是“如何進行持續集成？”。在前一篇文章中，我介紹了Cruise團隊持續集成的演進過程。在最后，還曾提及Cruise團隊的持續部署。本文將結合團隊的實際情況，與大家分享持續部署的實踐心得。
“最后一哩”問題
持續集成解決了軟件開發中的部分問題，但還有更為重要的一部分有待解決，即“通過什么樣的方法，可以讓軟件盡快地在真正的生產環境下運行，從而實現軟件的價值”。在軟件開發過程中，“從功能開發完成開始直到將其部署至生產環境中正式運行”這一階段被稱為“最后一哩”。如果從一開始就對產品發布足夠重視的話，那么這“最后一哩”可能只需要幾分鐘，甚至幾秒鐘就完成了。然而，事實上大多數項目在這一階段會花上幾個星期，更有甚者可能會是幾個月。
為什么會這樣呢？對于復雜軟件來說，無論什么環境中的部署（測試環境，試運行環境，還是生產）都很困難。當軟件第一次被部署到非開發環境去測試，或者當軟件功能及其環境有較大變化時，通常都會暴露出很多問題。而在做用戶驗收測試時，常常會發現更多的問題，例如不能滿足非功能需求，用戶操作不方便，功能與用 戶真正需要的東西相差太遠等等。而開發團隊只有修復這些缺陷后，才能再次部署測試。于是，這個過程會不斷反復，直至該軟件足夠穩定，才可以部署到生產環境中。
即然部署到測試環境都這么困難，那么在生產環境中部署的風險豈不會更大嗎？而且，更為嚴重的是：當生產環境部署出現問題時，擺在你面前的選擇就所剩無幾啦（通常是回滾到以前的狀態，而“回滾”這段時間的停機成本是相當高的）。
上述原因就會導致大多數組織對產品的發布采用“保守策略”，即降低軟件的發布頻率，這也導致兩次發布之間的版本特性差異相對較大。這樣一來，發布風險并未因發布間隔時間加長而降低，反而更高了。當各方面的因素結合在一起時，軟件發布這一環節就變得昂貴而又緩慢啦。而通常“發布過程與頻率”決定了產品在市場中的位置。
那么，如何更好地解決“最后一哩”這一問題呢？實現持續部署！ 即將持續集成實踐擴展到整個軟件生命周期頻繁且規律性地自動構建代碼并將其部署到測試環境中，然后通過一系列的測試，選擇適當的版本部署到預演環境中試運行，最后選擇穩定的版本部署到生產環境中，從而使開發團隊盡早從最終客戶那里得到反饋，而最終客戶盡早得到軟件的價值。
“持續部署”源于部署時的痛苦
在使用Cruise來構建Cruise本身以后的第二周后，當我們想再次升級它時，因沒有事先考慮好升級方式，結果用了兩人天才把它搞定。從那以后，我們就開始了Cruise的持續部署之旅。
持續部署環境
目前Cruise的研發環境中，有一個被稱為“UAT（User Acceptance Testing）”的測試環境，目前它由一臺Cruise Server和近20臺Agent組成，用于Cruise團隊自身的持續集成與部署管理。還有另一個被稱為“Production”的預發布生產環境，它由一臺Cruise Server和近70臺Agent組成，由多個項目組同時使用。“Production”環境是真實的生產環境，部署失敗，就意味著損失。因此，雖然部署工作可以通過自動化腳本完成，但我們還是在“UAT”和“Production”兩個Stage之前加上了人工開關（manual approval），如下圖所示。前三個Stage全部是自動觸發，其后全部為手工觸發。每個待發布的版本都會先被部署到UAT環境中，實際上也就做了試 運行，如果該版本穩定，則部署到“Production”環境中。這樣就使部署風險盡在掌控之中。
讓持續部署成功的要點
1. 充分而廣泛的自動化測試覆蓋
目前我們的測試包括單元測試、End2End測試、功能測試和性能測試。其中單元測試、End2End測試及功能測試都在同一個Pipeline中，每次代碼提交都會運行這些測試。而性能測試在另一個Pipeline中，用于每次部署后，收集UAT環境和Production環境的性能指標。由于部署頻率足夠，我們可以掌握性能數據的微小變化，據此來采取相應的優化措施。
寫單元測試已經成為不爭的事實，自不必說。另外，由于Cruise與很多版本管理軟件打交道，這里所說的End2End測試是指與這些外部接口的測試。而功能測試是指將Cruise Server和Agent真正在測試機器上運行起來后，再運行TWIST自動化測試套件。我們對功能測試的原則就是每個Story都要有功能測試覆蓋，QA與開發人員共用編寫功能測試用例，由開發人員實現之，而且功能測試要讓真實的Cruise Server和Agent進行通信的基礎上進行。TWIST是我們公司的另一款產品，用于自動化功能測試，其測試編輯界面如下所示：
2. 盡可能短的測試反饋時間
盡管測試數量較大，測試的絕對運行時間較長，但結合Cruise本身提供的并行運行特性，團隊成員胡凱，Derek和李彥輝自行開發的測試負載均衡工具（Test-load-balancer）將所有測試分成若干份，Cruise將其分配到Agent集群中同時運行，使單元測試或其它測試在可接受的相對時間內完成（單元測試在15分鐘之內，功能測試在30分鐘之內）。近期還將增加數個Agent，以便繼續縮短測試需要的時間。
3. 部署過程自動化
當部署復雜軟件時，都會使用人工過程，而且可能會花上幾天的時間。而這種部署過程通常比較復雜，而且很難可靠地重復操作。因此，人們會寫一些文檔幫助這一過程，但文檔常常更新不及時。有時，還需要幾個關鍵性人物同時在場才能完成。
當每次由不同的人員進行部署操作時，出錯的概率就增加，所以要盡可能少的人工步驟。
在Cruise的Pipeline中，盡管由人來觸發兩個環境中的部署，但部署過程本身是自動化的。在部署過程中，Cruise的安裝包會自動關閉服務器，更新自身程序和升級數據庫，然后再重新啟動。所有的Agent也會以Server為準，自動更新到與其相同的版本，而不必人工去升級每個 Agent（每次為70個Agent的手動升級也是很大的成本，所以我們做了自動升級這個特性）。
4. 部署過程要保證數據安全
如果因為持續部署而導致數據丟失或錯誤，會得不償失。所以，我們每次修改數據庫結構或配置文件的結構后，都會寫出相應的遷移腳本，并在部署過程中運行。
目前我們使用由Thoughtworkers開發的開源項目DBDeploy來做數據庫升級。對于XML配置文件的修改，我們也自行開發了一個遷移框架。
5. 在穩定的前提下，盡早部署
有人會問：“為什么要持續部署?你又如何知道部署的版本是否穩定呢？宕機了怎么辦？”的確，沒有哪個開發人員希望持續集成服務器在工作時間內宕機。盡管我們無法百分之百確保每個部署版本都穩定，但在可預見的范圍內穩定就可以了，否則我們就無法解決“最后一哩”問題。
Cruise在最初三個迭代（迭代時間為一個星期）后，就開始用Cruise來做自己的持續集成服務器了（即UAT環境）。我們讓它在UAT環境上 運行了兩周，沒有發現什么問題，說明版本相對穩定，就將它部署到“Production”環境上了。在那以后，隨著用戶的增多，很多人認為由于部署失敗而 導致持續集成服務器宕機的風險要高于那些新特性和修復的缺陷。因此，我們的客戶要求新版本部署至 “Production”環境之前，一定要在UAT環境上運行。目前，Cruise部署到UAT環境的頻率不固定（一般為兩天至一周），而部署到 Production環境的頻率為一周。也就是說，Production環境上的版本要落后于UAT一周的時間。
6. 完善的風險緩解措施
隨著項目的進行，難免會有部署失敗的情況，所以一定要有風險緩解措施。例如：
(1) 部署盡可能在用戶少的時候；(2) 部署時必須有技術人員在場；(2) 每次部署前備份原始數據；(3) 時刻準備回滾腳本。
7. 將同樣的產物部署到不同的環境中
讓你的產品可以部署到不同的環境中，如果這些環境的環境配置不同，則把有關環境配置的內容排除在你的產品之外。如果你有很多個配置變量，請讓這些配置保存在同一處，而且有默認值。
基于這一原則，Cruise唯一的配置就是XML文件。
8. 不斷的反思與重構
這一點就沒有什么可說的了。它適用于所有的活動。
小結
實踐表明，建立自動化部署管道的益處很多。在過去的幾年中，ThoughtWorks利用這一方法幫助很多項目組和公司解決了他們的“最后一哩”問題。例如，在某項目中，通過自動化部署過程，使部署頻率從幾天一次提高到每天一次，而且該過程耗時少于15中分鐘（其僅有一分鐘的停機時間）。這對軟件整個生命周期的交付階段有著積極作用，只要按下鼠標就可以準備好所需要測試環境，從而減少了人為失誤造成的不必要的損失，顯著降低軟件發布的風險。另外，頻繁且輕松的發布讓開發人員全神貫注于他們想做的事情：開發新的功能。
鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。
