當前位置: > >儲存月報第9期:失靈的儲存效能指標SPC-1

儲存月報第9期:失靈的儲存效能指標SPC-1

03-18,IT資訊儲存月報第9期:失靈的儲存效能指標SPC-1最新消息報導,口袋科技網(http://www.fbajfi.live)IT資訊

非營利組織的儲存效能理事會(Storage Performance Council,SPC)所提出的測試標準,特別是針對隨機IOPS效能的SPC-1測試,一直是儲存業界衡量產品效能的基準,主要的儲存大廠如EMC、NetApp、Dell、HPE、HDS,以至中國的華為,與國內的普安等,都曾讓旗下儲存產品參與SPC測試,并以取得的測試結果,來標榜自身產品的效能或效能/價格比特性。而這也讓SPC-1成為一個跨廠牌、直接比較不同產品效能表現的公認指標。

SPC-1的成功可以歸因于這幾點:

●測試規範相對嚴謹與公平,不僅測試程序相對能避免一些特意沖高數值的手段,測試模型也接近主流的交易型工作負載,足以作為現實應用環境的參考。

●在企業儲存領域,尤其是區塊型儲存應用,沒有其它具備足夠公信力、業內公認的測試基準與SPC競爭。

●前面兩點造成SPC一家獨大,成為企業區塊儲存產品效能的權威比較基準,一些廠商在採購儲存設備時,甚至將SPC測試表現列入招標規格,導致儲存廠商不得不參與SPC測試,于是這也進一步擴大了SPC的影響力。

但過去一年多以來,隨著一些產品在SPC-1測試中締造了讓人難以置信的驚人成績,但使用的測試架構卻存在疑慮,以致儲存業界出現了對 SPC-1測試架構合理性與防弊機制的質疑。

漸進提高的SPC-1成績

隨著技術的進步,各廠商儲存產品的SPC-1成績也隨之攀高,舉例來說,在2012年以前,只有Kaminario的K2D能在SPC-1中取得100萬以上IOPS的成績,而到了2017年初的現在,至少有6款產品在SPC-1測試中,擁有超過100萬IOPS的表現。

就一個較長的時段來看,各廠商的SPC-1測試數值隨著時間而有顯著進步,但就同世代、同等級的產品來說,彼此間的SPC-1效能表現固然會有差距,但落差并不會太大,除非遇到儲存技術架構的根本性變革,否則SPC-1的紀錄更新總是漸進的,不會有一次提高幾倍的大幅度進步。

上一次SPC-1出現大幅度跨越的紀錄更新,正是發生在固態儲存產品開始成熟的時期,在2012~2013年間,Kaminario先后以基于DRAM的K2D,與基于Flash記憶體的K2兩款固態儲存陣列產品,率先在SPC-1測試中突破了100萬IOPS紀錄。在此之前,SPC-1測試紀錄的領先者均屬于傳統硬碟式儲存陣列,達到的成績不過只有40~50萬IOPS,而Kaminario則一舉將紀錄提高了2倍以上。

繼2012~2013年的效能大突破后,接下來的3、4年間,SPC-1的最高紀錄排行榜成了固態儲存陣列的天下,最高紀錄也逐漸成長到200萬IOPS左右,HPE的XP7與HDS的VSP G1000等兩款產品,都在2015年先后達到了200萬IOPS的SPC-1測試表現。

不過到了2016年時,短短一年時間內,SPC-1測試成績又出現了成倍的跨越式進步,DataCore的平行架構儲存伺服器,創造了驚人的512萬IOPS紀錄。

DataCore異軍突起,締造驚人增長的測試成績

2016年是SPC-1測試史上值得注記的一年,先是華為OceanStor 18800 v3締造了300萬IOPS的新紀錄(測試編號A00163),但保持了不到半年,在同年就被DataCore以512萬IOPS所刷新(測試編號A00179)。

DataCore所創造的SPC-1佳績,讓人訝異的有這兩點:

首先,是512萬IOPS這個驚人數值,這堪稱SPC-1史上最大幅度的紀錄更新,比一年前最高的200萬IOPS紀錄足足提高了2.5倍。如同前面提到的,上一次SPC-1紀錄有這種幅度的進步,是依靠固態儲存技術帶來的革命,但這一次,卻是發生在儲存技術與架構沒有出現革命性進展的情況下。

其次,是DataCore只投入非常少的硬體資源,就創造了超過500萬IOPS的成績。

華為所達到的300萬IOPS表現雖然也相當驚人,不過這是投入了極龐大資源的成果—一共投入了16臺控制器與512臺SSD,以這種空前高檔的硬體組態,獲得極高的SPC-1測試數值,可說是理所當然的結果。

但DataCore只投入2臺安裝SANsymphony軟體、作為儲存控制器的伺服器,加上4臺外接的SAS JBOD磁碟柜,一共72臺SSD的規格,就在SPC-1測試中達到超過500萬IOPS的成績。

由于DataCore透過SANsymphony軟體的儲存架構,只需極少資源就能達到極高的效能表現,所以,他們同時在SPC另一項測試——以每單位IOPS成本為基準的性能價格比測試,也創造了新紀錄。

原本Dell曾在2015年初時,以SC4020創造了SPC-1性能價格比新紀錄,每IOPS只需0.37美元。稍后國內的普安公司,則在2015年中以EonStor DS3024B將這個紀錄更新到每IOPS 0.24美元。但DataCore在2016年初,以搭載SANsymphony軟體的儲存伺服器,進行的一項SPC-1測試(測試編號A00164),得到每IOPS只需0.08美元的驚人性能價格比紀錄,一口氣就將數值拉低了3倍。

?

SPC-1效能測試Top 10排行榜

DataCore以512萬IOPS高居榜首,遙遙領先其他受測者,但造成爭議之處在于,DataCore的測試架構存有疑慮。

資料來源:SPC

?

SPC-1性能價格比測試Top 10排行榜

目前已有兩家臺灣廠商捷鼎(Accelstor)與普安(Infortrend),登上了這個排行榜。不過占據第1的DataCore與第3名的Accelsoor,都是以單控制器組態執行測試,其余廠商則都是雙控制器,這樣直接對比成本有些不公平。

資料來源:SPC

?

令人質疑的測試架構

DataCore在SPC-1測試中的驚人表現,也引發了外界一連串對其測試架構的議論,認為其中恐有取巧之虞。

對500萬IOPS測試成績的質疑

DataCore只用了2臺控制器(執行SANsymphony軟體的伺服器)與72臺SSD,就得到比華為動用16臺控制器與512臺SSD還高出60%的500萬IOPS效能表現,這樣驚人的成果,DataCore CEO宣稱是他們啟用了所謂的平行處理技術所致,但外界懷疑DataCore的測試架構另有玄機,存在這幾個疑點:

●極度依靠寫入快取來拉高效能

DataCore在SCP-1測試中使用的伺服器,搭載了高達1.5TB的DRAM記憶體,其中SANsymphony軟體使用了1.25TB,而且從其極低的回應時間表現來看(僅0.3ms左右),外界質疑寫入I/O都是由DRAM快取承擔,沒有實際落入底層SSD。

但太過依賴DRAM作為寫入快取,但這在實際環境中會帶來資料可用性方面的問題。DataCore的SPC-1測試架構中,雖然納入了UPS,來確保斷電時維持DRAM資料的可用性,但如果遭遇的是UPS失效這種意外,這種架構便不可行了。

●犧牲資料一致性與可用性

懷疑者們認為,DataCore之所以能有500萬這樣高的IOPS數值,一個原因是省略了在2臺控制器之間進行快取鏡像,沒有跨節點的資料保護能力。這樣的架構,將能省略在兩臺控制器之間進行大量的內部傳輸工作,從而拉高IOPS效能,但這在講究可用性的實際環境中,是不可接受的。

實際上,DataCore還有另一份採用了HA高可用架構的SPC-1測試(測試編號A00178),顯示DataCore若和正規儲存陣列一樣,採取雙控制器鏡像架構,他們的IOPS表現便只有120萬,雖然也是相當不錯的數字,但與500萬IOPS相比,就不那樣讓人震撼了。

DataCore的SPC-1 500萬IOPS測試架構

DataCore以這個架構,在SPC-1測試中締造了空前的512萬IOPS成績(測試編號A00179),而且只使用了2臺執行SANsymphony軟體的Xeon E5伺服器、4臺外接JBOD磁碟柜與72臺SSD,相較下,位居第2名的華為,在SPC-1測試中耗用了16組控制器與512臺SSD,得到的成績不過是300萬IOPS。

但懷疑者批評DataCore這個測試架構,恐怕是極度依靠寫入快取來拉高效能,2臺充當儲存控制器的Xeon E5伺服器分別配置了多達1.5TB的記憶體,并啟用了寫入快取。另外,DataCore的2臺儲存控制器之間,也沒有執行快取鏡像複製,因而省下了控制器之間的I/O負擔,這雖能相當程度地提高I/O效能,但也因此不能確保2組控制器的資料一致性,也沒有跨節點保護能力。

換句話說,懷疑者們認為,DataCore這個架構是專為沖高SPC-1 IOPS效能所設計,與真實環境存在很大落差,測試成績雖然驚人,但對實際環境的參考價值有限。

資料來源:SPC

DataCore啟用高可用性的SPC-1測試架構

DataCore在另一項SPC-1測試中(A00178)測試編號,以啟用了鏡像複製的組態接受測試,與締造了512萬IOPS的A00179測試相比,兩者測試架構大致相似,但A00178啟用控制器之間的鏡像功能,具備跨節點高可用性能力,而且儲存伺服器安裝的DRAM記憶體數量也縮減一半(從A00179的1.5TB減為768GB),比較沒有依靠寫入快取沖高效能的疑慮,配備的SSD數量也較少(從72臺減為36臺),但如此一來,獲得的IOPS數值也從A00179的512萬降為120萬。

雖然以這樣的組態,跑出120萬IOPS的SPC-1成績,已經是相當不錯的表現,但就沒有512萬IOPS那樣的震撼力了。

資料來源:SPC

?

對性能價格比測試的質疑

DataCore締造SPC-1性能價格比新紀錄的A00164測試,同樣也存在失真的疑慮。

首先,測試中前、后端都在同一臺伺服器上,沒有透過儲存網路,等同于伺服器自己的本機I/O測試。這雖然可以解釋成一種用戶端與儲存端合一的「超融合型式」架構,不過和一般常用環境顯然是不同的。

其次,只使用1臺儲存伺服器,也就是單控制器,沒有跨節點資料保護能力。

第三,前述測試架構同樣也有大量依靠寫入快取的疑慮,控制器安裝了多達544GB DRAM記憶體,但架構中卻又沒有UPS,可用性堪慮。

換言之,DataCore這種做法,一方面是利用沒有獨立前端伺服器、且大量依靠寫入快取的方式來縮短延遲、拉高I/O效能;另一方面又犧牲了可用性,透過單控制器架構來壓低成本,從而取得性能價格比方面的優勢。

與其他採用雙控制器組態、擁有完整可用性機制、且採取儲存網路測試架構的受測產品相比,DataCore的SPC-1性能價格比成績,恐有不公平比較之嫌,也與現實環境脫節——畢竟,單控制器架構比雙控制器省錢是理所當然的,但稍微有高一點可用性要求的使用者,都會要求採用雙控制器,因此單控制器組態所取得的SPC-1性能價格比成績,參考價值便相對有限。

也就是說,如果DataCore在這項測試中也依照正規標準,採取雙控制器、跨節點資料鏡像、納入UPS配置、且透過儲存網路存取,恐怕就不會有這樣驚人的性能價格比了。

DataCore的SPC-1性能價格比榜首測試架構

DataCore以這個測試架構,在SPC-1效能價格比測試中(測試編號A00164),締造了每IOPS只需0.08美元的驚人成績。相較下,在此之前,位居SPC-1效能價格比榜首的普安EonStor DS 3024B,也不過是每IOPS 0.24美元的表現。

但觀察測試架構可發現,這個架構沒有獨立的前端伺服器,且只有1臺執行SANsymphony軟體的儲存伺服器。所以在這個測試中,前、后端都是位于同一臺伺服器上,而沒有透過儲存網路存取,自然有助于縮減延遲、提高效能;此外測試架構只包含1臺儲存伺服器,也有利于壓低成本,因而取得好的性能價格比成績,也是理所當然的。

但這樣的測試架構,和真實環境需求明顯有落差,對企業環境來說,透過儲存網路存取是常態,而且基本上都會要求雙控制器高可用性架構。

資料來源:SPC

參考價值失效的效能指標

總的來說,DataCore在SPC-1測試中所採取的做法,雖然不至于算是作弊,只是利用了SPC-1測試的規則,卻也造成測試結果參考價值的降低。

由于SPC-1測試規則中,并沒有要求系統可用性的門檻,可以接受廠商以單控制器組態送測,所以透過降低可用性方面的標準,來達到拉高I/O效能與性能價格比表現,是符合SPC-1規則的合法手段。但這樣的做法,在實際環境中是無法接受的——企業用戶不僅要求高效能或便宜,同時也要求系統可用性與資料一致性,所以如果廠商在這方面「取巧」而取得較佳的SPC-1成績,將會造成SPC測試環境與實際用戶需求產生落差,從而失去參考價值。

而且相對于其他擁有完整高可用性機制的儲存產品,DataCore這種犧牲可用性所取得的SPC-1佳績,恐有不盡公平、以致無法直接互相比較之虞。

對于傳統的企業級儲存陣列產品來說,硬體上必然會擁有完整的可用性機制設計。但是在軟體定義儲存時代,控制器硬體配置是彈性的,因而出現了利用犧牲可用性標準,來提高測試成績的取巧法門,而這也對SPC-1測試的可信度,帶來了的挑戰。

事實上,在DataCore帶頭做了「示範」后,近日Accelstor(捷鼎)也仿照這個先例,以單控制器/單機組態方式,締造了SPC-1性能價格比的佳績(位居僅次于DataCore的第3名)。但如同前面所述,這種方式雖能在「測試環境」取得好成績,但對現實環境的參考價值有限,而且也是不公平的比較——在整個SPC-1性能價格比排行榜中,就只有DataCore與Accelstor是採取單控制器的壓低成本取巧作法,其余所有廠商則都是規規矩矩的雙控架構。

捷鼎的SPC-1性能價格比測試架構

今年年初捷鼎以這個架構,在SPC-1性能價格比測試中取得佳績(測試編號A00183),每IOPS只需0.20美元,在SPC-1性能價格比排行榜中位居第3。但問題是,捷鼎在測試中,只使用1臺NeoSapphire 3602全快閃儲存陣列,也就是一個單控制器組態,這雖然有利于壓低成本,但與真實環境需求有所落差。就實際環境來說,會在這類全快閃儲存陣列上運行的應用,大都是講求可用性的關鍵應用,雙控制器高可用性是必要需求,因此這種單控制器測試組態的參考價值相對有限。

資料來源:SPC

聲明:

·凡注明為其他媒體來源的信息,均為轉載自其他媒體,轉載并不代表本網贊同其觀點,也不代表本網對其真實性負責。如系原創文章,轉載請注明出處。

·您若對該稿件內容有任何疑問或質疑,請即聯系,本網將迅速給您回應并做處理。

郵箱:[email protected]

+1 已贊
已有8人贊過
評論13

發表評論請 登錄
  • 最新
  • 最熱
評論舉報

請選擇舉報理由

17 13

已收藏
去我的收藏夾 >

已取消收藏
去我的收藏夾 >

7星彩玩法