有了生命科學云,還需要集群嗎?
譯文說到使用公有云,很少有市場領域比生命科學行業更有話要講。在這個領域,由于生成和采集相關數據集的成本一路下跌,數據量急劇增長;雖然這意味著所需的計算資源數量隨之增加,但是現在可供選擇的辦法比之前要多得多――無論從結合內部處理器核心和云集群方面來講,還是從軟件編排和應用程序方面來講,都是如此。
用于基因組研究、藥物發現及生命科學其他分支領域的許多廣泛使用的生物信息應用程序可以并行處理,這讓它們更加適合在云環境下運行。雖然所有的基本要素似乎已落實到位(至少乍一看是這樣),尤其是由于亞馬遜網絡服務及其他大規模云資源提供商在借助異常先進的數據管理、應用程序框架、存儲、計算和安全工具,加大對企業用戶的吸引力,但還是存在一些缺口。生命科學和基因組市場相應地發現其云方案與提供特定領域云服務的供應商緊密地聯系在一起,正如許多人預料公有云采用趨于成熟后會出現的一幕那樣。
DNAnexus公司的***科學家Andrew Carroll表示,除了缺少一些定制的、具體的合規和安全特性外,生命科學公司還缺少一套管理體系來處理PB級的數據和數十億個對象。“此外,還面臨大規模操作帶來的挑戰――處理運行1次或100次的任務并不難,但是讓同一個系統處理成千上萬次或數百萬次的任務,就會出現大量隨機錯誤或其他低級問題,結果證明這些問題很嚴重。如果出現了位反轉或節點故障,當你運行數百萬個任務時,這是一大問題。”
DNAnexus是為其用戶使用亞馬遜云的少數公司之一,既提供了能夠比較快地構建,所有適當的合規和重要管理工具都已落實到位的環境,又為開發人員提供了將代碼移植到其中的環境,并且讓代碼在亞馬遜EC2里面的***效機器上運行,以滿足工作負載的要求,這個要求既涉及交付解決方案的時間,又涉及成本效益。這方面值得關注的是,公司的最終用戶、尤其是基因組方面的用戶在如何做出決策:到底是自建還是購買基因組和研發基礎設施。
Carroll表示,雖然許多大規模用戶已經在內部擁有集群,但是許多內部工作負載往往具有突發式,這意味著它們需要整合將工作負載推送到云端來處理的方法。但是這些內部集群用戶給他留下最深印象的是,云讓它們現有的硬件投入發揮了更大的價值。“如果你看一下本地集群的效率,假設你在110%下運行。這不是好事,因為這意味著存在等待時間。對于害怕這種場景的公司來說,它們往往配置過多的資源;要是另一方面,在那些突發時期(可能有個問題涉及10000個基因組)之外的時段,集群的使用率可能為90%。我們發現,移到云端處理這種突發任務是結合使用本地資源和亞馬遜資源的***效方式。”
值得關注的是,Carroll還看到一些從未投資自建集群的小規模生命科學公司當中出現了幾個顯著的趨勢。“對這些用戶而言,他們的好處就是可以借助外力。這意味著,他們有多得多的閑置資源,要不然這些帶寬會用于管理其IT和基礎設施;如今,他們的精力花在了如何使用云服務上。”這意味著,公司里面的IT人員可以將注意力從單純管理裸機系統,變成在應用程序、測試或開發方面從事創新的新工作。
內部沒有集群資源的另一個優點是,工作負載發生變化后,計算需求也隨之變化。對需要處理內部基礎設施的用戶而言,基礎設施確實很擅長處理一組主要的應用程序,但是該基礎設施(計算、內存和存儲)都是固定不變的。Carroll解釋:“我們其實是機會主義者,因為我們在可以使用哪些處理器方面從亞馬遜處獲得了一整批選擇,比如說如果我們需要偏重內存的方法,或者需要固態硬盤或更多磁盤。”他在DNAnexus的團隊在少數類型的抽樣節點上運行用戶處理的每種應用程序,以確定***操作環境,并且充分考慮到了用戶的需求:準時交付解決方案,并且不超支。如果用戶需要某一種類型的處理器或配置,他們可以在系統里面加以改動,但是Carroll表示大多數用戶使用屢試不爽的默認設置。
雖然后端云硬件情況和圍繞自建還是購買的問題值得關注,但到頭來,這些用戶關注的卻是合規、安全和應用程序移植這部分,這部分其實也讓他們做出了考慮DNAnexus的最終決定。Carroll告訴我們,他們在過去幾年投入了大量精力來建立這樣一套系統:可以通過容器隔離(使用LXC,而Docker的安全問題是限制因素)并移植自定義環境,從而確保符合《健康保險可攜性及責任性法案》(HIPAA)及其他監管法規,那樣每個機器隔離起來,而且有可靠的數據治理結構,那樣所有操作都可以受到跟蹤和報告。雖然任何公司確實可以讓自己的工程師構建EC2集群,但處理個人健康數據時,問題就不是那么簡單了,盡管亞馬遜已在這方面落實了諸多措施來吸引生命科學公司。
“這不是它們亞馬遜是不是符合HIPAA的問題,因為那僅僅涉及合規和機器安全。一定要在數據管理層面確保合規;當我們談論數PB的數據時,這在大規模下顯得尤為重要。”Carroll解釋,如果一家公司想使用亞馬遜或另一家提供商的資源構建自己的云集群,就需要一批技能嫻熟的工程師花好幾年來構建DNAnexus構建的那套系統。他表示,就算他們能做到這樣,其團隊還要管理該系統。選擇這樣一家基因組即服務提供商讓DNAnexus的團隊得以專注于原本可能忽視的其他方面,包括滲透測試和構建新的開發工具,讓應用程序的開發和移植來得更容易。
雖然考慮到硬件、應用程序和數據傳輸等方面存在變數,價格是個棘手問題,但這正是對用戶來說真正有吸引力的地方,不過眼下可以妥妥地說,針對特定領域的高性能計算云正迎面而來。
原文標題:Life Sciences Clouds Raise More Cluster Questions