能源規(guī)劃

云計算數(shù)據中心的新能源應用:研究現(xiàn)狀與趨勢

  1 引 言
 
  在云計算席卷全球、云計算產業(yè)發(fā)展浪潮風起云涌的背景下,建設綠色數(shù)據中心、實現(xiàn)節(jié)能減排成為了近年來學術界和產業(yè)界關注的話題之一.傳統(tǒng)數(shù)據中心企業(yè)原有的數(shù)據中心如何盡快轉變成適合云計算要求的云計算中心,也是迫切需要解決的問題.以谷歌、亞馬遜為代表的互聯(lián)網巨頭在從傳統(tǒng)內容服務商向云計算服務轉型的過程中,需要規(guī)劃和建設規(guī)模巨大的數(shù)據中心.
 
  與傳統(tǒng)數(shù)據中心相比,云計算數(shù)據中心的新特性主要體現(xiàn)在:(1)模塊化的標準基礎設施.針對數(shù)據中心的云服務需求,云數(shù)據中心對服務器、存儲設備、網絡等設施按工業(yè)標準進行模塊化配置設計,使其具有適應性與可擴展性;(2)虛擬化資源與環(huán)境.云數(shù)據中心廣泛采用虛擬化技術將物理資源聚集形成一個共享虛擬資源池,從而更加靈活高效、低成本地使用資源;(3)高可靠自動化管理.云計算數(shù)據中心應是24×7無人值守的、可遠程管理的,實現(xiàn)設備到應用端到端的統(tǒng)一管理.為確保穩(wěn)定、安全、持續(xù)的系統(tǒng)連接,云數(shù)據中心需建立高度可信賴的計算平臺、網絡安全威脅防范,建設數(shù)據復制與備份、容災中心;(4)快速的可擴展能力.隨著大數(shù)據爆炸式增長以及用戶需求的可變多樣性,云數(shù)據中心必須根據業(yè)務應用需求和服務質量來動態(tài)配置、定購、供應虛擬資源,具有資源利用的快速擴展能力;(5)節(jié)能與節(jié)省空間.云計算數(shù)據中心將大量使用節(jié)能服務器、存儲和網絡設備,并通過先進的供電系統(tǒng)和散熱技術,實現(xiàn)供電、散熱和計算資源的無縫集成和管理,解決傳統(tǒng)數(shù)據中心的過量制冷和空間不足的問題.然而,高能耗、高污染一直制約著云數(shù)據中心的發(fā)展.據統(tǒng)計,如果將全球的數(shù)據中心整體看成一個“國家”的話,那么其總耗電量將在世界國家中排名第15位[1].由于數(shù)據中心60%的運營成本來自于能耗,因此如何降低能耗以節(jié)省云服務商不斷攀升的電費成本、緩解日益嚴重的碳排放污染,是云數(shù)據中心可持續(xù)發(fā)展過程中亟需解決的問題.
 
  本文從綠色數(shù)據中心評價標準、新能源的特性、新能源產電模型與預測機制、數(shù)據中心能源配額規(guī)劃、作業(yè)調度機制以及負載均衡機制等方面,對云計算數(shù)據中心的綠色能源應用研究進行分析.
 
  本文第2節(jié)介紹綠色云數(shù)據中心的現(xiàn)狀與挑戰(zhàn);第3節(jié)分析新能源評價標準、新能源的特性和可選擇利用種類;第4節(jié)介紹研究分類評價標準,并據此對目前研究現(xiàn)狀進行對比分析;第5節(jié)分別從新能源模型和預測機制、數(shù)據中心能源配額規(guī)劃、新能源數(shù)據中心內作業(yè)調度機制和新能源數(shù)據中心間負載均衡機制4個方面,對綠色數(shù)據中心的最新研究進展進行分類比較,并總結國內綠色數(shù)據中心的研究現(xiàn)狀;最后對全文進行總結,并提出未來值得進一步研究的方向.
 
  2 綠色云數(shù)據中心的現(xiàn)狀與挑戰(zhàn)
 
  2.1 云數(shù)據中心不斷增長的能耗
 
  日本經濟貿易產業(yè)?。停牛裕深A測,全球IT能耗將于2025年翻5倍,而到2050年將增長12倍①.大量的能耗使得像Google、Microsoft和Facebook這樣的IT公司每年的電費就高達幾百萬美元.雖然近年來低功耗服務器和數(shù)據中心能效優(yōu)化領域已經取得了顯著進步,但隨著數(shù)據中心系統(tǒng)規(guī)模和服務器數(shù)量的增長,其總體能耗仍然呈持續(xù)快速增長趨勢.例如,Facebook基礎設施的規(guī)模大約每6個月就翻1倍———從2008年4月的10K臺服務器增長到2009年11月的30K 臺服務器,并于2010年6月達到了60K臺服務器②.表1顯示了典型企業(yè)和機構的服務器數(shù)量、能耗需求及電費.
 
  面對上述巨大能耗需求,目前電力能源主要還是源自于化石燃料,如表2所示,化石燃料發(fā)電量占到全球電能比例的2/3.盡管不同地區(qū)的各種能源比例不盡相同,但綠色能源還遠未得到廣泛應用,特別是為數(shù)據中心配備綠色能源更是充滿了機遇與挑戰(zhàn).
 
  2.2 云數(shù)據中心對新能源的需求
 
  最新統(tǒng)計數(shù)據表明,平均建設一個額定功率為100MW 的電廠將花費60~100百萬美元,并在其生命周期中排放超過50百萬噸的CO2.相比之下,全球數(shù)據中心在2007年排放了116百萬噸的CO2,而且IT設備的碳排放量占據了全球碳排放量的2%.隨著二氧化碳排放量劇增、全球氣候變暖日趨嚴重,云計算相關企業(yè)或機構無疑都將受到越來越多的成本約束和環(huán)境法規(guī)限制.
 
  近年來,學術界和工業(yè)界一直通過各種方法改善數(shù)據中心能效(Energy Efficiency),如利用更好的能耗均增(Energy Proportional)計算技術(包括虛擬化、動態(tài)開關服務器、負載整合、IT設備的深度休眠和功耗模式控制),更高效的電力配送及冷卻系統(tǒng).但是,改善能效并不等于就實現(xiàn)了綠色計算,因為數(shù)據中心消耗的仍然是傳統(tǒng)的高碳排放量的能源.綠色和平組織(GreenPeace)定義實現(xiàn)綠色IT的方式是“高能效加新能源”(Green IT=Energy Efficiency+Renewable Energy)[5].為了減少能耗開銷和碳排放量以實現(xiàn)綠色計算,充分利用新能源才是根本途徑.新能源一般是指在新技術基礎上加以開發(fā)利用可再生能源,包括太陽能生物質能、風能等.隨著常規(guī)能源(煤炭、石油、天然氣)的有限性以及環(huán)境問題的日益突出,環(huán)保、可再生的新能源越來越得到各國的重視.
 
  能源領域對于綠色可再生能源的研究(如太陽能、生物能的利用)從未停歇,而這股潮流隨著云計算的到來,同樣走向了數(shù)據中心.綠色和平組織通過對全球IT公司的數(shù)據中心清潔能源進行評級,來倡導和激勵數(shù)據中心使用新能源.同時,各國政府也紛紛制定鼓勵節(jié)能減排的法規(guī)和政策.例如,美國加利福尼亞州規(guī)定到2020年其市政電力中33%要來源于新能源[6].此外,美國還提出多種激勵補貼方式鼓勵新能源的應用.例如,生產稅收抵免(ProductionTax Credit,PTC)政策規(guī)定在新能源設施運營的前10年內,每生產一千瓦時清潔能量將獲得2.2美分補貼
 
  新能源不但能夠顯著減少高碳電廠的溫室氣體排放,而且具有光明的經濟前景,是減輕未來電力價格上漲壓力的一種新途徑.例如,用戶在安裝了新能源或者購買了新能源產品之后,可以在多年內(如20年)擁有固定的能量價格.如果數(shù)據中心所在地區(qū)需要征收煙碳排放稅,或者實行限額與交易(capand-trade)政策(每家企業(yè)都給了一定量的排碳限額,在限額之內排碳免費;未用完限額可以賣給那些碳排量超過配額的企業(yè)),那么對新能源的投資將具有較高的性價比.
 
  2.3 當前云數(shù)據中心不夠“綠色”
 
 
        隨著不斷下降的工藝制造費用以及大規(guī)模的投資和政府激勵,部署建設新能源的設備(如太陽能光伏電板和風渦輪)費用不斷減低.例如,太陽能的安裝建設費用從1998年的10.87$/Watt下降到2010年的7$/Watt①.風渦輪電能的價格更是達到歷史最低值:2011年價格僅為1.33$/(m·MW-1),相比于2009年的1.06$(m·MW-1)下降了7%,而相比于2007年的1.21$(m·MW-1)下降了19%②.現(xiàn)在,越來越多的IT企業(yè)和機構正在逐步實現(xiàn)完全或者部分新能源驅動的數(shù)據中心,例如Green HouseData建在美國懷俄明州的風能供電數(shù)據中心③和Facebook建在俄勒岡州的太陽能數(shù)據中心④.eBay在2012年4月份決定使用30個Bloom Energy的燃料電池來為其在猶他州的數(shù)據中心供能⑤.Apple將使用太陽能廠和燃料電池站生產60%的電力來驅動其在南加州的數(shù)據中心①.2012年4月,綠色和平組織發(fā)布了一份名為《How Clean is Your Cloud?》的報告,對著名IT企業(yè)的數(shù)據中心做了綠色能源評估.其中,在清潔能源所占比例上,戴爾公司以56.3%的比例排在首位,Google和Facebook分別以39.4%和36.4%排在二、三位.由于戴爾是近幾年才轉型到數(shù)據中心解決方案業(yè)務,所以其新型數(shù)據中心清潔能源所占比例較高.相比于老牌的IBM、Microsoft、Oracle公司等,Google和Facebook則是近來發(fā)展起來的互聯(lián)網巨頭,更容易采用新技術和轉變能源來源,因此其綠色能源占據的比例較高也在情理之中.在其它指標中(如數(shù)據中心選址、能源效率及溫室氣體排放、能源回收二次利用),能夠達到代表綠色環(huán)保的A和B級別的企業(yè)很少.此外,大部分中小型IT公司由于資金和技術原因,其數(shù)據中心更難采用新能源.綜上所述,新能源在數(shù)據中心的應用還有很長一段路要走.
 
  2.4 云數(shù)據中心仍然需要混合能源
 
  2012年6月29日,大規(guī)模雷暴雨襲擊了美國東一區(qū),導致著名的亞馬遜云服務Amazon’s WebServices(AWS)中斷,嚴重影響了基于AWS的應用服務商,如Netflix,Instagram 和Pinterest②.此前,亞馬遜在2010年就曾經歷了一周內4次電力故障,導致所提供的云服務中斷③.這些促使人思考一個問題:現(xiàn)在是時候讓數(shù)據中心的運營者考慮完全使用非電網的能源嗎?尤其是現(xiàn)在部分運營商已經成功實現(xiàn)自己生產部分電能,而用傳統(tǒng)電網作為備用電能.
 
  顯然,電網仍然是為數(shù)據中心供電的最重要和最優(yōu)先方式.電網更加穩(wěn)定可靠,而且考慮到數(shù)據中心能耗一般在20MW 到100MW 之間,這樣大規(guī)模的需求很難通過新能源來滿足.亞馬遜Web基礎架構專家James Hamilton指出,Facebook在俄勒岡州建設的100KW 的太陽能電站對于其能耗25MW的數(shù)據中心來說仍然遠遠不夠④,僅夠用來為數(shù)據中心照明,或者僅相當于一個高密度服務器機架的能耗.此外,Apple的iDatacenter使用20MW 的太陽能電廠來為100MW 的數(shù)據中心提供部分電能.為此,Apple需要清理掉171英畝的土地來放置足夠多的太陽能電板.太陽能電廠在夜晚不能發(fā)電,而且在白天太陽能也是變化的,這導致了僅僅只有部分可用的電能產出.據Hamilton估算,額定20MW的太陽能電廠只有15.8%的產出,即約3.2MW.據此,如果Apple想要為整個數(shù)據中心供電的話,需要擴建24.4倍大的太陽能電廠,達到額定488MW,占地4172英畝.
 
  由此可見,目前數(shù)據中心仍然不適合完全脫離傳統(tǒng)電網.雖然利用新能源能夠改善數(shù)據中心帶來的環(huán)境問題,但是不能完全代替?zhèn)鹘y(tǒng)高碳電能.如何協(xié)同配合傳統(tǒng)電網和新能源的各自特點,仍然是未來的一個研究方向.
 
  2.5 綠色云數(shù)據中心研究面臨的挑戰(zhàn)
 
  不同于依賴傳統(tǒng)高碳能源的穩(wěn)定供給電網,新能源往往是不穩(wěn)定的、間歇性的、動態(tài)變化的.為了緩和這種可變性,數(shù)據中心可以將綠色能源存儲在電池中或者直接連上電網.但是這些方法會導致能量損失和昂貴的電池費用.尤其是能量儲存設備比較昂貴、改進過程也比較緩慢,不宜大規(guī)模采用.此外,建設新能源電廠需要大量的土地.比如,使用太陽能來生產1MW 的電能需要5~10英畝的土地(具體數(shù)值依賴于安裝的太陽能電板的不同密集程度和不同發(fā)電效率).同樣,風能也需要使用大量的土地,風能項目的平均產電能力為2W/m2⑤.最大化使用新能源的辦法是根據新能源的供應量來匹配相應的能耗需求(計算任務).匹配能耗供應與需求有很多待研究的問題:什么樣的計算負載適合于綠色數(shù)據中心?采取什么樣的有效技術來匹配動態(tài)變化的能耗需求與供應?是否可以允許程序員定制使用哪類節(jié)能技術?如何準確預測太陽能和風能的可用量?如何有效管理電池等儲能設備?能否通過全球范圍內的任務分發(fā)與調度來最大化利用多區(qū)域的新能源?如何選址配額來實現(xiàn)最佳的數(shù)據中心收益與開支平衡?
 
  3 數(shù)據中心采用新能源的途徑及特征
 
  3.1 新能源種類及其在數(shù)據中心中的應用途徑在數(shù)據中心部署使用新能源有就地(on-site)電站和離站(off-site)電廠兩種方式.就地新能源發(fā)電廠生產的電力可直接為數(shù)據中心供能,例如Facebook建在俄勒岡州的太陽能數(shù)據中心.其優(yōu)勢在于幾乎沒有電力傳輸和配送損失.但是位置最好的數(shù)據中心(土地價格、水電價格、網絡帶寬、可用的勞動力、稅收等因素),并不一定具有最佳的資源來部署就地新能源電站.
 
  利用新能源的另一種模式就是將新能源電廠建設在具有豐富資源(如風速大或日照強)的離站地區(qū),然后通過電網將新能源產生的電力傳送到需要用電的數(shù)據中心.盡管這種方式具有較大的傳輸損失和電網傳送、儲存的費用,但是其電產量更大,而且選址更靈活.由于新能源的不穩(wěn)定性,上述兩種方式均需要采用儲能設備來緩解產量/供應與消費/需求之間的不匹配,因此相應的儲能開銷(購買費用和管理儲能費用)也被納入當前研究的權衡考慮之中.由于地區(qū)原因,許多企業(yè)沒有機會自己生產新能源.除了直接參與新能源電廠的建造和使用,還有其它間接的方法實現(xiàn)數(shù)據中心節(jié)能減排的目的.第一,購買新能源證書(Renewable Energy Certificates,RECs).這是指數(shù)據中心與新能源項目簽訂長期合同,以較便宜的協(xié)議價格購買部分新能源項目的產電量.例如,Google與新紀元能源公司NextEra簽訂的PPA 協(xié)議規(guī)定,Google可以從愛荷華州艾姆斯市的新能源項目中購買20年的114MW 的風能,為Google在愛荷華州的數(shù)據中心供電①.第二,與第三方新能源提供商簽訂能源購買協(xié)議(PowerPurchase Agreements,PPAs)來間接獲得新能源.可再生能源證書RECs也稱為綠色標簽,是一種可以在市場上交易的能源商品.由專門的認證機構給可再生能源產生的每1000kWh電力頒發(fā)一個專有的號碼,證明其有效性.即1MWh電力對應于1個單位的證書.綠色證書是可再生能源比例標準的重要一環(huán),它借用市場機制形成了一項對使用者的補貼,并以此鼓勵綠色能源的廣泛應用.第三,購買碳補償(carbon offset)來抵消非清潔能源使用.購買者計算日常運營直接或間接制造的二氧化碳排放量,并計算抵消這些二氧化碳所需的經濟成本.然后,付款給專門企業(yè)或機構,由他們通過植樹或其它環(huán)保項目抵消大氣中相應的二氧化碳量.
 
  總之,云計算數(shù)據中心采用新能源的途徑有多種.不同方式在開銷、復雜度、資助直接性和公共關系價值等方面不盡相同.如圖1所示,這些途徑分為4個層次:第1種途徑是直接建設就地新能源電站,這種方式最直接支持利用新能源,因此也得到更多的直接資助;第2種途徑是與新能源開發(fā)商簽訂使用協(xié)議或者成為合作伙伴,獲得離站的新能源,例如能源購買協(xié)議PPA;第3種途徑是購買高質量的新能源補償,如碳補償;第4種途徑是購買新能源市場產品,如新能源證書RECs.第3種和第4種途徑相對前兩種途徑更加便宜且簡單方便,但是所獲得的資助和公共關系價值相對較少.
 
  3.2 綠色數(shù)據中心新能源衡量標準———CUE數(shù)據中心主要的3個子系統(tǒng)包括:IT設備(服務器、存儲設備、網絡硬件);冷卻系統(tǒng)(冷卻裝置和風扇);配電系統(tǒng)(不間斷電源UPS、配電裝置PDU等).電能使用效率(Power Usage Efficiency,PUE)是衡量數(shù)據中心能效的工業(yè)標準,其定義為PUE=數(shù)據中心總能耗/IT 設備能耗.盡管PUE長期作為數(shù)據中心運營者衡量其電力使用效率的標準,但它沒有涉及性能和開銷,更沒有考慮評價綠色環(huán)保程度(如消耗的能源的碳含量).例如,相比于主要依賴煤燃料供能而具有較低PUE 的數(shù)據中心,一個主要依靠新能源供能的數(shù)據中心盡管可能具有較高的PUE,但其產生的污染更少.
 
  為了給出標準的方法來評價數(shù)據中心的碳強度,綠色網格組織Green Grid 采用碳使用效率(Carbon Usage Effectiveness,CUE)表示每千瓦時用電產生的碳排放密集程度.
 
  碳排放因子是相應能源的碳密度,即消耗單位能量所排放的碳量(kgCO2eq/kWh).表3給出了最常見的幾種電力能源的碳排放因子,其中石油和天然氣化石燃料能源的碳排放因子最大.PPA 和REC作為新的綠色能源產品,其開銷與碳排放因子與電網和柴油發(fā)電機(Diesel Generator,DG)的對比如表4所示.更多綠色IT評價標準參見文獻.
 
  3.3 風能、太陽能等綠色能源的特征
 
  太陽能和風能是給數(shù)據中心供能的最有前景的兩種綠色能源,原因在于:(1)這兩種能源在全球大部分地區(qū)廣泛存在;(2)它們不會像水力發(fā)電那樣引起環(huán)境影響(大面積的植被被破壞);(3)它們不會像核能那樣引起核泄漏和廢物堆積問題.因此,目前關于新能源在數(shù)據中心應用的研究主要是考慮風能和太陽能.據統(tǒng)計,風能和太陽能分別占全球非水能新能源產量的62%和13%①.
 
  由于風能和太陽能發(fā)電量與環(huán)境條件緊密相關,如風速和日照強度,因此可用電量是不穩(wěn)定的、隨時間變化的.相應地,它們的容量因子也遠低于傳統(tǒng)電廠(容量因子(capacity factor)是指實際產出與最大的額定產出的比值).由于有穩(wěn)定的化石燃料供應,傳統(tǒng)電廠的容量因子可達80%甚至更高.依據年平均風速的不同,風能的容量因子在20%~45%之間②.風能發(fā)電的開銷主要是前期的安裝部署開銷,其資金支出占據了生命周期總開銷的75%.比較而言,傳統(tǒng)化石燃料電廠(如天然氣電廠),其燃料和管理運維開銷則占據40%~70%.太陽能光伏發(fā)電系統(tǒng)的光伏電板比風能和其它新能源技術更加昂貴.與風能類似,管理運維開銷只是光伏發(fā)電系統(tǒng)總開銷的一小部分③.
 
 
新能源最主要的優(yōu)點就是一旦建設好電廠就可以源源不斷的提供電能,而且管理費用較低,運營過程中不會排放碳等污染物質.盡管在在生產、傳輸、安裝、設備回收利用過程中也會產生碳污染,但是與傳統(tǒng)電網的碳排放因子585gCO2e/kWh相比,風能29gCO2e/kWh和太陽能53gCO2e/kWh的碳排放因子仍然低得多.
 
  一方面,風能在地理上具有更小的相關性,而且不管白天還是黑夜都能發(fā)電.因此,對于面向互聯(lián)網規(guī)模服務的多區(qū)域分布式數(shù)據中心而言,風能的可用性具有更小的波動.另一方面,太陽能與數(shù)據中心負載都是在白天達到峰值,具有更佳的匹配性.所以,根據當?shù)仫L能資源的質量及各個數(shù)據中心的負載特性,最佳的新能源組合是主要使用風能,而配合使用相對較少的太陽能來處理白天時段的高峰需求.
 
  此外,燃料電池是另一種具有巨大前景的新能源.例如,新能源公司Bloom Energy生產一種固體氧化物燃料電池,能夠通過電化反應將燃料轉化為電.這種新型燃料電池的發(fā)電效率是美國電網的兩倍,而且清潔程度比燃煤電廠高出60%.雖然目前燃料電池較為昂貴,但是其經濟效益正在不斷改善,而且不像其它新能源那樣受限于間歇性.
 
  4 新能源研究現(xiàn)狀的分類與比較
 
  基于目前大量針對數(shù)據中心如何利用新能源的研究,本節(jié)首先總結相關的評價標準,并據此對現(xiàn)有研究進展進行分類對比.
 
  4.1 新能源使用策略分類標準
 
  表6歸納了目前數(shù)據中心使用新能源策略的分類和評價標準.首要的標準就是時間尺度,它決定采用的機制和策略的更新頻率,可以分為在線策略和離線策略.在線策略是在系統(tǒng)運行過程中實時執(zhí)行的,時間尺度一般較小,如毫秒或者秒級.離線策略是在系統(tǒng)運行之前就指定好的,時間尺度一般較大,如每小時級的,這類策略通常用于系統(tǒng)設計和資源部署中[9].
 
  第二,根據數(shù)據中心系統(tǒng)結構的不同層次,可以分為單機部件級策略、數(shù)據中心整體策略和跨區(qū)域數(shù)據中心之間的策略.不同層次的策略需要不同的通信量.有些策略需要跨層次的信息通信,或者需要多層之間相互協(xié)作.
 
  第三,也可以根據策略所需信息的來源進行分類.例如,策略所作決策可以基于即時信息,也可以基于歷史觀測值,或者基于預測信息(預測一般即取決于即時信息和歷史記錄信息).
 
  第四,根據數(shù)據中心的負載類型不同,策略可以分為即時交互性型服務策略和批處理延遲容忍型服務策略.不同的作業(yè)對于性能的要求不同,要求的服務響應時間也不同.例如,Web服務一般要求實時響應,而后臺處理和科學計算等作業(yè)就屬于延遲容忍型服務,只需要在一定時間段完成.
 
  第五,數(shù)據中心可以選擇多種能源,不同的策略針對的新能源種類也不盡相同.例如,前面介紹的就地新能源和離站新能源;太陽能、風能、燃料電池;可再生能源補貼金RECs、碳補償?shù)榷喾N形式的綠色能源選擇.有的策略考慮完全利用新能源為數(shù)據中心供電,而有的策略則采用多種新能源組合為數(shù)據中心供能.
 
  最后一種重要的分類標準是研究方法,它反映方案的現(xiàn)實可用性和評測方法.具體分為離散時間模擬方法、設計原型系統(tǒng)、形式化建模分析以及數(shù)值模擬方法等.所有方法均有其局限性和優(yōu)缺點.例如,相對于真實系統(tǒng)平臺或原型系統(tǒng),理論分析和模擬的研究給出了不依賴于具體平臺和實現(xiàn)的結果,但是真實原型系統(tǒng)則反映了相應研究領域的成熟程度.
 
  4.2 研究分類比較
 
  依據表6的分類標準,表7對比了近年來數(shù)據中心應用新能源策略的研究進展.不同的機制策略可歸類為:第一,新能源模型和預測機制.由于不同新能源具有不同的特性(如前面介紹的發(fā)電量和碳排放量因素、因此間歇性和動態(tài)變化等),因此,為了最大化利用新能源,我們需要建模預測未來可用的新能源量,以此來調度作業(yè),匹配能耗供應與需求.第二,數(shù)據中心能源配額規(guī)劃:主要涉及研究新建數(shù)據中心或者新增新能源時,如何選擇最佳的能源組合來最小化開銷和碳排放量,并同時滿足相應能耗需求.第三,新能源數(shù)據中心內作業(yè)調度機制:主要研究如何依據新能源可用量,來分級調度交互性和延遲容忍型作業(yè)、調節(jié)服務功耗狀態(tài)以最大化利用新能源.第四,新能源數(shù)據中心間負載均衡機制:針對不同地區(qū)數(shù)據中心的不同新能源可用量和不同碳排放量,負載均衡器將請求分發(fā)到不用的地區(qū)進行執(zhí)行處理,從而最大化新能源的利用、減少能耗開銷和碳排放量.下面,將分別詳細闡述這4類研究.
 
  5 新能源利用機制與策略
 
  本節(jié)首先對新能源在數(shù)據中心應用的4個方面進行闡述,如圖2所示.然后,我們分析總結國內綠色數(shù)據中心的研究現(xiàn)狀.
 
  ReRack是一個可以輸入上述不同因素的模3期鄧 維等:云計算數(shù)據中心的新能源應用:研究現(xiàn)狀與趨勢591擬優(yōu)化器,可用來評估使用新能源的數(shù)據中心的能耗開銷.ReRack主要包含兩個部分:一是模擬器,用來分析新能源的效益,其模型既可以表示數(shù)據中心的能耗需求也可以模擬不同地區(qū)的新能源變動情況;二是優(yōu)化器,用來尋找對于給定地區(qū)和負載的開銷最佳的求解空間.
 
  文獻[4]提出的碳感知能源規(guī)劃方法可以幫助數(shù)據中心操作人員設計可持續(xù)發(fā)展的新能源驅動的系統(tǒng).該方法假設數(shù)據中心內部的IT設備、冷卻設備、供電設備都齊全,而需要規(guī)劃的決策是多種新能源的配額以及儲能設備(Energy Storage Devices,ESD)的大?。茉磥碓窗ň偷匦履茉?、離站新能源、電網、就地柴油發(fā)電機、儲能設備和間接的新能源市場的產品(如REC和PPA).通過考慮不同碳足跡指標、新能源特性、激勵政策、稅費,該方法的目標優(yōu)化函數(shù)是最小化上述所有能源組合的費用開銷.基于此優(yōu)化框架,大量真實數(shù)據(trace)驅動的仿真實驗顯示:(1)新能源不僅可以減少數(shù)據中心的碳排放量,而且可以減少開支;(2)就地新能源可以減少開銷的原因在于它們能直接為數(shù)據中心供電,而減少對電網的峰值需求,而傳統(tǒng)的作法則是運用更昂貴的ESDs來實現(xiàn)相同的目標;(3)減少碳排放量的最有效方式取決于碳足跡的目標:對于比較低的減排目標(不超過30%),最好使用就地可用的新能源;更高的碳排放減少目標就需要使用離站新能源;而零碳排放目標就必須借助于新能源產品,如RECs.
 
  然而,上述能源供應規(guī)劃方案忽視了對數(shù)據中心能耗需求的考慮.文獻[13]提出了一種能耗管理規(guī)劃方案,使得數(shù)據中心的負載能耗需求與供應相匹配.電能供應可以來源于電網、新能源和儲能設備.其中,新能源的供應是隨時間變化的,依賴于新能源來源、發(fā)電機地理位置和天氣條件.能耗需求主要取決于隨時間變化的數(shù)據中心負載和所采取的能耗管理策略.該方法采用DVFS 和服務器整合技術來調節(jié)CPU功耗和服務器個數(shù),并設置能耗上限來控制能耗需求.儲能技術用來儲存多余的電能,并用來平滑由于間歇性新能源導致的不穩(wěn)定電能供應.以上幾種配額規(guī)劃方案都沒有考慮新能源對公
 
  眾健康及地區(qū)經濟效益的影響.為此,文獻[12]提出了一種系統(tǒng)最佳能源組合模型,能夠考慮電網的可靠性、電力開銷、污染對健康的影響、對建筑環(huán)境的影響、對景點的影響、對當?shù)刎敻缓铜h(huán)境的影響.而且,該模型可以模擬這些因素之間的交互影響,提供決策信息來設計最佳的電力能源組合.但是該模型只是概念模型,并沒有嚴格的形式化數(shù)學表達.雖然現(xiàn)在越來越多的數(shù)據中心使用新能源來減
 
  少碳排放量,但是只有少數(shù)的綠色環(huán)保客戶才對新能源感興趣,而大部分的普通用戶并不關心數(shù)據中心是否使用綠色能源.為此,數(shù)據中心可以提供差異性服務:新能源僅僅為服務綠色環(huán)保客戶的服務器供能.在新能源加入數(shù)據中心供電系統(tǒng)時,應該規(guī)劃哪些服務器提供的服務由新能源支持,哪些服務器提供的服務由傳統(tǒng)電網支持.在相關研究[14]中,新能源通過并網設備(grid tie)將就地新能源并入電網,而電網作為備用能源,當新能源不足的時候才使用電網,而當新能源富余時就存儲在電網中.在并網的數(shù)據中心中,新能源在供電系統(tǒng)的比例取決于新能源的產量,以及并網設備下的服務器數(shù)量.該方法能夠量化不同的并網設備放置方案對于新能源利用率的影響.例如,在機架級別放置并網設備可以增加每小時新能源利用率的1.76倍.
 
  5.3 綠色云數(shù)據中心內作業(yè)調度機制
 
  5.3.1 延遲處理作業(yè)機制
 
  為了研究數(shù)據中心如何利用不穩(wěn)定的新能源、如何匹配負載的能耗需求與變化的新能源供應,美國羅格斯大學的研究者設計并實現(xiàn)了太陽能驅動的小型數(shù)據中心μdatacenter———Parasol[34].最近,他們又為綠色數(shù)據中心設計了兩個負載調度系統(tǒng):
 
  GreenSlot[15]和GreenHadoop[16].這兩個系統(tǒng)均假設:(1)數(shù)據中心既與太陽能電站連接也與電網連接;(2)沒有蓄電設備.系統(tǒng)目標都是最大化利用太陽能.非清潔能源只在太陽能不足的時候才被利用.GreenSlot[15]是一個批處理作業(yè)調度器,它擴展了SLURM 模擬器(SLURM 是一種可用于大型計算節(jié)點集群的高度可伸縮和容錯的集群管理器和作業(yè)調度系統(tǒng)).用戶提交作業(yè)時需要設定所需的結點數(shù)、期望的運行時間和截止期限.基于歷史數(shù)據和天氣預報,GreenSlot首先預測未來太陽能的可用量.在滿足作業(yè)的延時要求情況下,GreenSlot盡可能將作業(yè)延遲到未來新能源可用的時候再執(zhí)行,如圖3所示.其中,回填算法是在先來先服務算法的基礎上,將隊列中較小的作業(yè)回填到空閑CPU,以提高CPU利用率.每個長方形代表結點的個數(shù)和每個作業(yè)大概需要的時間.垂直線為作業(yè)的最后完成期限.GreenSlot延遲部分作業(yè)的執(zhí)行(只要不超過截止期限)以保證新能源的利用.例如,GreenSlot延遲作業(yè)J1到截止期限之前,從而盡可能多地利用可用的新能源[15].如果為了滿足延時要求而不得不使用傳統(tǒng)電網時,GreenSlot則選擇電價較為便宜的時候執(zhí)行作業(yè).
 
  圖3 在調度3個作業(yè)(J1,J2,J3)時,回填(Backfill)算法(上圖)與GreenSlot(下圖)算法的對比.類似地,GreenHadoop在Hadoop數(shù)據處理的框架下改進作業(yè)調度器來最大化新能源的利用.但是調度管理Hadoop作業(yè)的能耗更加困難,因為Hadoop作業(yè)不設定需要使用的服務器個數(shù)、運行時間和所需能耗等信息.此外,能耗調度器需要保證管理的服務器上具有運行作業(yè)所需的數(shù)據.
 
  但是,GreenSlot[15]和GreenHadoop[16]調度系統(tǒng)不適合交互式延遲敏感型應用.文獻[22]既考慮批處理這樣的延遲容忍型作業(yè),又考慮Web服務這樣的延遲敏感型應用.對于這兩種不同類型的作業(yè),調度器設置兩個不同的隊列.對于Web服務,系統(tǒng)限定每個服務器上的請求個數(shù),并在計算資源可用時立即執(zhí)行,以滿足響應時間要求.而對于批處理作業(yè),則利用前面5.1.3小節(jié)總結的風能和太陽能可用量預測機制,自適應地延遲調度每個服務器的作業(yè)來充分利用新能源.雖然該方法使用的新能源預測算法相對于GreenSlot和GreenHadoop系統(tǒng)更為復雜,但是準確性更高,調度失誤率更低.類似地,加州大學伯克利分校的研究者也同時針對批處理任務和交互型服務設計了能源敏捷型集群[21].對于批處理任務,該方法同樣通過新能源感知的松弛調度來最大化風能的利用.不同的是,對于交互型服務,系統(tǒng)通過降低服務質量(如增加響應時間、選擇性地拒絕部分請求)來減少能耗.其代價是影響服務質量.
 
5.3.2 調節(jié)硬件狀態(tài)方式
 
  除了通過延遲處理作業(yè)來匹配可用新能源的方式外,另一種利用新能源的調度方式就是調節(jié)處理器或者服務器的功耗狀態(tài)來調節(jié)能耗需求,從而匹配可用的新能源.在處理器層次,佛羅里達大學的IDEAL實驗室設計了SolarCore[20],一種太陽能驅動的多核體系架構下的能耗管理方案.SolarCore依據可用的太陽能動態(tài)地設置處理器的能耗預算,并利用DVFS技術根據吞吐率和能耗的比值來動態(tài)調節(jié)每個核的負載,以充分利用新能源實現(xiàn)最佳的性能.當太陽能利用率低于一定閾值時就開啟備用電源(電網).類似地,對于服務器集群,Blink[17]基于變化的可用新能源電量,利用快速休眠狀態(tài),動態(tài)調節(jié)每個服務器的功耗狀態(tài)來匹配能耗供應.不同的是,該方法假設集群完全依賴綠色能源,不與電網連接.但是,目前數(shù)據中心僅僅依靠綠色能源是不實際的,原因在于間歇、不穩(wěn)定的新能源可能會導致無法控制的性能損失、服務中斷和斷電.
 
  5.3.3 遷移負載調度資源
 
  上述這幾種延遲處理作業(yè)或者調節(jié)硬件功耗狀
 
  態(tài)的方式會一定程度上影響服務質量.IDEAL實驗室的另一個研究成果是iSwitch.為了最大化利用間歇、不穩(wěn)定的新能源,iSwitch在兩組服務器之間動態(tài)調節(jié)負載:一組服務器依靠新能源供能,而另一組依靠傳統(tǒng)電網供能.根據能源波動利用虛擬機遷移技術,當新能源不足時就將負載遷移到電網服務器組;當新能源充足時就將任務遷移到新能源服務器組.但是,能耗需求的波動性和新能源的不穩(wěn)定性導致引入了很多不必要的負載調度開銷.
 
  文獻在管理負載時集中考慮了新能源供應、動態(tài)的電價、冷卻方式等因素,來改善數(shù)據中心運營的節(jié)能環(huán)保可持續(xù)性.系統(tǒng)首先預測可用的新能源和IT需求,然后依據這些預測數(shù)據來產生IT負載管理策略———依據變化的能源供應和冷卻效率在數(shù)據中心中調度負載和分配資源.真實數(shù)據驅動的實驗顯示該方法在保證服務質量SLA的同時,可以減少60%的能耗開銷和非清潔能源的使用量.實驗回答了3個關鍵問題:(1)通過新能源和冷卻感知的負載管理方式能獲得多少益處(減少電力開支和環(huán)境影響)?(2)零電網能耗可能實現(xiàn)嗎?(3)哪種新能源更有價值?最優(yōu)的新能源組合是怎樣的?
 
  5.4 綠色云數(shù)據中心間負載均衡機制
 
  云服務提供商通常在全球多個地區(qū)擁有自己的數(shù)據中心:一是為了盡可能快地為全球客戶服務;二是為了故障恢復(數(shù)據在不同地區(qū)的數(shù)據中心復制多份);三是為了更好利用不同地區(qū)的能源供應、電價、冷卻方式、稅費之間的差異.當然,不同地區(qū)的數(shù)據中心的可用新能源量是不同的、波動趨勢也不盡相同,所以越來越多的研究者發(fā)現(xiàn)在跨區(qū)域數(shù)據中心之間合理地進行負載遷移和請求分發(fā),不僅可以減少總體費用,而且可以充分利用各地的可用新能源、減少碳排放量.
 
  5.4.1 跨數(shù)據中心請求分發(fā)節(jié)能減排的可行性劍橋大學的學者提出了Free Lunch[26]架構.他們假設多個數(shù)據中心擁有新能源,而這些產出不穩(wěn)定的新能源不被使用就會被浪費.數(shù)據中心之間通過專有網絡連接.Free Lunch根據可用能源來無縫執(zhí)行和遷移虛擬機,將任務遷移到有富余新能源的數(shù)據中心.但是,實現(xiàn)Free Lunch這種通過虛擬機遷移負載來充分利用新能源的思想有以下5點挑戰(zhàn):(1)虛擬機在線遷移具有很大性能開銷.例如,在新西蘭和澳大利亞的數(shù)據中心之間遷移的最小延時是67ms.(2)Free Lunch假設系統(tǒng)中所有服務器都連接到網絡附加存儲(Network Attached Storage).在單個數(shù)據中心這個假設是合理的,但是在多個不同地區(qū)的數(shù)據中心之間,虛擬機的遷移需要保證虛擬機磁盤狀態(tài)和數(shù)據的一致.(3)多個數(shù)據中心之間的虛擬機磁盤鏡像放置也是一個挑戰(zhàn).虛擬機的正常運行需要磁盤鏡像隨時可訪問.虛擬機只能被放置或遷移到具有鏡像的數(shù)據中心中.(4)FreeLunch比較適用于無狀態(tài)的、非交互型、訪問數(shù)據量小的應用.大量的網絡延時使其難以滿足延遲敏感和交互型應用的服務等級協(xié)議SLA.尤其是當負載具有大量的磁盤訪問操作時,負載遷移的時間和數(shù)據處理使其開銷更大.(5)Free Lunch假設數(shù)據中心的計算資源與綠色能源來源是在一個地點的.
 
  因此,更合理地利用不同地區(qū)數(shù)據中心的新能源、減少碳排放量的方式,是分發(fā)用戶網絡請求,依據可用新能源或碳排放量的不同來均衡各個數(shù)據中心的請求數(shù)量.加州理工學院的Wierman等人從理論和實驗上證明這種方法的可行性.他們在文獻[10]中研究互聯(lián)網系統(tǒng)完全利用新能源的可行性.研究發(fā)現(xiàn)小規(guī)模的儲能設備配合分布式請求轉發(fā)機制,對于完全依賴于新能源的數(shù)據中心就足夠了.最佳的新能源組合是主要用風能,而使用相對較少的太陽能來處理白天時段的高峰需求.他們在文獻[24]中研究跨數(shù)據中心的負載均衡能否刺激新能源的利用、減少化石燃料的使用.此研究主要針對新能源輸出的電量接入到電網,進而為數(shù)據中心供電的情形.研究發(fā)現(xiàn)負載均衡機制的好處取決于新能源加入電網后的定價方式.
 
  PBi分別表示這些能源的單價.約束條件(14)表示分發(fā)到N 個數(shù)據中心的請求之和與到達數(shù)據中心系統(tǒng)的請求數(shù)λ 相等.約束條件(15)保證能耗費用不超過預算Budget.基于線性分數(shù)規(guī)劃(Linear-Fractional Programming,LFP)方法,GreenWare利用Matlab中的linprog解決方案求得最優(yōu)解.類似地,文獻[29-30]考慮在設置非清潔能源使用量上限情況下,如何依據不同地區(qū)的不同電價和碳抵消交易市場來分發(fā)請求,實現(xiàn)充分利用綠色能源并最小化能耗開銷,并同時滿足服務質量SLA.文獻[28]考慮不同地區(qū)處理請求的不同碳排放量和網絡延時對服務質量(Quality of Service,QoS)的影響,對碳排放和QoS之間的權衡作了優(yōu)化處理.文獻[3]設計的FORTE優(yōu)化框架依據負載和碳足跡的變動來動態(tài)控制每個數(shù)據中心的用戶請求比例.它允許運營商操控3個方面的權衡:訪問延時、碳足跡和電量開銷.
 
  5.4.3 新能源感知的路由算法
 
  目前,大量的研究工作關注于優(yōu)化數(shù)據中心計算的能耗,而較少研究者關注連接大規(guī)模分布式數(shù)據中心的網絡的能耗.數(shù)據中心運營者和網絡提供商如何以最小的開銷提供期望的性能是設計分布式服務的關鍵挑戰(zhàn).主干網的總能耗是所有鏈路和路由器能耗之和.其中,鏈路的能耗是距離的函數(shù),主要用于信號放大.路由器的能耗大部分固定在額定值,是主干網能耗的主要部分.目前,網絡路由主要采用最短路徑算法.隨著路由器改進為能耗均增方式(Energy Proportional),未來路由器需要根據負載狀態(tài)和可用新能源量來動態(tài)路由.文獻[32]提出了新能源感知的路由算法以改善網絡系統(tǒng)的能效.該算法選擇那些具有最低非清潔能源消耗量且同時滿足帶寬要求的路徑來路由請求.實驗結果表明,使用能耗均增的路由器和新能源感知的路由算法能將路由器的能效提高10倍,并增加36%的作業(yè)完成率.
 
 
5.5 國內綠色數(shù)據中心研究現(xiàn)狀
 
  國內在數(shù)據中心節(jié)能減排、新能源應用方面的相關研究起步晚于國外.但在國家大力倡導資助和國內科研工作者的刻苦攻關下,迄今已取得了一定的成果.
 
  在綜述方面,2009年四川大學郭兵教授發(fā)表了題為“綠色計算的重定義與若干探討”的文章[35].文章提出了綠色計算的一些基本思路和一般性方法,為下一步研究綠色計算的具體模型、方法與工具打下了必要的基礎.2011年清華大學的林闖教授發(fā)表了題為“綠色網絡和綠色評價節(jié)能機制、模型和評價”的文章[9].文章提出了隨機模型的綠色評價框架,為構建綠色網絡和節(jié)能減排計算系統(tǒng)的評價體系奠定了基礎.2012年浙江大學的葉可江博士和吳朝暉教授發(fā)表了題為“虛擬化云計算平臺的能耗管理”的文章[36],總結對比了云計算中心的節(jié)能減排模型和機制.在研究上,清華大學的林闖教授利用隨機佩特里網(Stochastic Petri Nets)為數(shù)據中心的能耗管理進行了理論建模和分析,提出了開銷感知的作業(yè)調度算法[37].在新能源的應用上,林闖教授研究了將太陽和風能在儲能設備幫助下加入電網的可行性.為了解決能量供應和需求都不穩(wěn)定的問題,他們應用隨機網絡演算(Stochastic Network Calculus)分析了各種新能源配置條件下能量供應的可靠性[38].清華大學的李丹老師對比分析了數(shù)據中心網絡的能效[39],提出了數(shù)據中心網絡中能耗感知的路由算法[40].中國科學院計算技術研究所的劉志勇研究員設計了基于離散開銷函數(shù)的網絡路由算法[41].在科研項目上,2011年清華大學林闖教授和中國科學院計算技術研究所劉志勇研究員主持負責了國家自然科學基金重大國際合作項目“綠色網
 
  絡———降低網絡能耗的理論與技術”.同年上海交通大學陳貴海教授聯(lián)合清華大學和華中科技大學負責研究自然基金重點項目“大型數(shù)據中心的低能耗可擴展理論與關鍵技術”.浙江大學馮培恩教授在2012年兩會提交的《關于加快發(fā)展云計算的提案》中提出大力推廣云計算中心對新能源的采用.國家“十二五”科技發(fā)展規(guī)劃大力培育和發(fā)展以節(jié)能環(huán)保、新一代信息技術、新能源為代表的戰(zhàn)略性新興產業(yè).
 
  6 總結與展望
 
  本文綜述了新能源在云計算數(shù)據中心的應用機制和策略.本文首先分析了新能源在數(shù)據中心中應用的必要性、挑戰(zhàn)和途徑,然后分類對比了最新相關研究成果.本文從新能源模型和預測機制、數(shù)據中心能源配額規(guī)劃、數(shù)據中心內作業(yè)調度和數(shù)據中心間負載均衡4個關鍵方面對研究現(xiàn)狀進行總結.其中,新能源的發(fā)電模型刻畫了產電量與各種相關因素的關系,這不但可以指導預測模型選擇參數(shù),也可以指導新能源的配額規(guī)劃.新能源預測機制是數(shù)據中心應用不穩(wěn)定新能源的重要一環(huán),其預測的準確性會影響資源調度的合理性.作業(yè)調度和負載均衡是實現(xiàn)數(shù)據中心內部及多區(qū)域數(shù)據中心之間充分利用新能源的有效機制.這4個方面關系密切,相互銜接,構成了云計算數(shù)據中心采用新能源的整體解決方案.目前,新能源在數(shù)據中心的應用還處于起步階段,相關研究成果主要集中在近3年.很多問題和難點都需要進一步的研究.具體總結如下:
 
  (1)多種能源協(xié)同組合.目前研究主要針對風能、太陽能,均需要大量的土地和資金.如何提高產電效率并減少費用是能源界面臨的重要挑戰(zhàn).沼氣、生物質能等可再生能源也可以為數(shù)據中心供電.數(shù)據中心購買REC、PPA和碳補償?shù)臋C制尚不成熟.數(shù)據中心運營商如何因地制宜地選擇最佳能源組合是首先面臨的問題.
 
  (2)新能源建設規(guī)劃.依據數(shù)據中心負載特性來估算能耗需求,從而決策采用多少新能源.從技術資源、投資回報率、社會效應等多方面考慮,選取最適合的新能源電站建設方案.
 
  (3)適量的儲能設備.新能源的不穩(wěn)定性嚴重阻礙了新能源的廣泛應用.依據新能源發(fā)電量、數(shù)據中心負載、儲能設備資金投入等多方面因素,選擇合適大小和規(guī)模的儲能設備來儲存新能源的產電量,能夠在需要時釋放.這是利用新能源的關鍵措施之一.(4)數(shù)據中心能耗需求與新能源供應相匹配.由于數(shù)據中心負載和新能源供應都是不穩(wěn)定的,負載能耗需求的波動對新能源的利用有什么影響,新能源的間歇性對數(shù)據中心服務質量有什么影響,如何匹配需求與供應都是需要解決的實際問題.
 
  (5)智能準確的可用新能源預測機制.可用的新能源電量影響到數(shù)據中心作業(yè)調度及資源分配決策.準確的預測機制是自適應作業(yè)調度的關鍵.(6)作業(yè)調度的多目標優(yōu)化.為了充分利用不穩(wěn)定新能源,調度作業(yè)來匹配能源供應需要考慮作業(yè)類型、作業(yè)服務質量SLA 和QoS、作業(yè)狀態(tài)一致性、服務穩(wěn)定性和可靠性等.
 
  (7)請求分發(fā)的數(shù)據可訪問性.在多個數(shù)據中心之間分發(fā)請求,將不同用戶映射到不同的數(shù)據中心,而不同的數(shù)據中心具有不同的數(shù)據庫.僅僅依據新能源或者碳排放來決策分發(fā)機制,可能會導致請求被分發(fā)到不具有要訪問數(shù)據的數(shù)據中心.分發(fā)機制應該綜合考慮用戶、數(shù)據中心和數(shù)據的對應關系.(8)由于數(shù)據中心采用新能源加傳統(tǒng)電網的供電方式,因此,新能源與電網之間如何切換、切換頻率大小、切換開銷大小、如何協(xié)同給數(shù)據中心供電都是這種混合供電方案需要回答的難題.
 
  (9)新能源數(shù)據中心的評價標準.數(shù)據中心如果僅僅考慮PUE標準,就會忽視碳排放和性能.而新制定的CUE 標準也只是考慮碳排放,而沒有涉及開銷和性能.此外,Performance/Watt或者Dollar/Watt指標分別評價的是數(shù)據中心單位能耗所提供的性能和收益.目前,尚沒有全面的、多維度綜合考慮的新型數(shù)據中心評價標準.