面對多達250TB的數(shù)據(jù)集，紐約州立大學的研究人員用大規(guī)模硬件升級、以及使用基于R統(tǒng)計語言分析技術的方式，找尋解開疑難雜癥病因的密碼。

紐約州立大學(SUNY)布法羅分校是全球領先的多發(fā)性硬化癥(Multiple Sclerosis)研究中心之一。在這里，基于大數(shù)據(jù)的分析正在幫助研究人員找尋潛在病因和治療方法，以幫助患者縮短治愈周期。

目前多發(fā)性硬化癥的病因尚未十分明確，但是業(yè)內普遍認為，多發(fā)性硬化癥是由于病毒和基因缺陷等因素共同導致的，同時可能還與陽光和吸煙等環(huán)境因素有關。Murali Ramanathan博士是紐約州立大學研究中心數(shù)據(jù)密集發(fā)現(xiàn)創(chuàng)新的聯(lián)執(zhí)主任。他們開發(fā)了名為AMBIENCE的技術，這一技術能夠讓研究人員對多遺傳變異——單核苷酸多態(tài)性(SNP)與增加患者罹患多發(fā)性硬化癥風險的環(huán)境因素之間的交互作用展開更為高效地搜索。

用于這一多變量研究的數(shù)據(jù)集容量已超過250TB。同時，由于研究人員試圖發(fā)現(xiàn)數(shù)千個遺傳因素與環(huán)境因素之間的重大交互作用，因此數(shù)據(jù)分析需要更加強大的計算能力。在這項研究中，有兩個主要障礙需要被克服：即對龐大數(shù)據(jù)集進行處理，并利用這些數(shù)據(jù)集創(chuàng)建復雜而易于定義的分析模型。研究人員不僅希望能夠發(fā)現(xiàn)哪些個體變量更為重要，同時還希望能夠發(fā)現(xiàn)哪些綜合變量更為關鍵。

需要在商用硬件上運行抽樣數(shù)據(jù)的算法幾乎要花上一周的時間才能得到結果。研究人員很快就發(fā)現(xiàn)，要想對全部數(shù)據(jù)進行運算還要花上數(shù)周的時間。過長的運算時間可能會導致一些額外的問題，比如算法調整、數(shù)據(jù)變更，等等。

為了應對這些挑戰(zhàn)，研究人員選擇創(chuàng)建一個整合了IBM Netezza分析數(shù)據(jù)庫工具和Revolution Analytics公司的商業(yè)版R語言的分析架構。Netezza可以將處理能力提升100倍，將分析所需要的時間由27.2小時縮短至11.7分鐘。并行處理也非常關鍵，但這僅僅是一個開始。與此同時，一些分析操作在數(shù)據(jù)移出磁盤時就已經開始執(zhí)行，而不是僅在主處理器上進行全部的處理工作，因此它們能夠更快、更高效地進行分析。

在R統(tǒng)計語言的基礎上，Revolution Analytics公司允許研究人員快速而方便地在模型中添加和移除變量，無需編寫數(shù)百行代碼。同時，他們還允許團隊使用醫(yī)療記錄、實驗室數(shù)據(jù)、核磁共振成像(MRI)掃描和患者調查等數(shù)據(jù)集變量和大量因變量，以對這些變量中的交互作用展開研究。

過去，紐約州立大學的研究團隊必須重新編寫整個算法。現(xiàn)在，得益于新的系統(tǒng)，科研人員可以自行輕松地調整算法。借助于新的解決方案，研究人員能夠使用新的算法，添加多變量和數(shù)據(jù)集進程。這些在以前都是不可想象的。得益于這些成就，研究人員目前正在轉向更為復雜的研究，朝著解開多發(fā)性硬化癥背后的神秘機制又向前邁進了一步。