成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

大數據彈性應用開發原則:抽象,事關高效和簡潔

數據庫
避免大數據應用在生產環境中掉鏈子的最佳辦法就是在開發階段就開發彈性應用,例如:魯棒、經過測試、可改變、可審計、高安全、可監控。

 大數據

大數據應用正在從概念走向現實,而企業在大數據應用開發時,軟件的彈性(Resilient)正在成為決定大數據應用成敗的關鍵因素。彈性差的應用無法應對大規模的數據集,在測試和運營中也缺乏透明度,而且也不安全。

可以說,開發出彈性大數據應用既是一個技術工作,也是一個哲學問題。Concurrent的Supreet Oberoi近日撰文提出大數據應用開發八大基本原則,編譯如下:

一、為彈性大數據應用描繪一個藍圖

***步是為企業大數據應用創建一個系統的架構和方法,要處理什么數據?那些類型的分析最重要?軟件架構需要承載那些指標、審計、安全和運營功能?

另外一些需要考慮的問題:那些技術最關鍵?哪些技術只是圖一時之便?你的藍圖需要準確評估當前架構的問題所在。

二、數據規模不再是問題

如果應用無法處理更大規模的數據集,那么它就缺乏彈性,彈性應用應當能夠處理任意規模的數據集(包括數據深度、廣度、頻度等),數據彈性還只對新技術的兼容,缺乏彈性的應用需要不斷配置修改應用來適應不斷更新的大數據技術,對于企業來說是時間、資源和金錢上的無底洞。

三、透明度

對于復雜應用來說,查找擴展性等彈性相關問題還很難實現自動化。關鍵是鎖定問題的根源所在:是代碼、數據還是架構抑或網絡問題?并非每個應用都要具備這種透明度,但大一些的平臺應當具備足夠的透明度,讓所有開發者和運營人員都能在問題發生時立刻找到根源并采取措施。

一旦發現問題,最為關鍵的是將找到應用行為對應的代碼——***是通過發現問題的監控應用。大多數情況下,訪問代碼會涉及到多個開發人員,執行起來流程將非常曲折。

四、抽象,事關高效和簡潔

彈性應用總是面向未來的,通常采用抽象層來簡化開發、提升效率,允許采用不同的技術實現。作為架構的一部分,彈性開發的抽象層能夠避免開發者陷入技術實現的細節泥潭中。簡潔性則能方便數據科學家使用應用訪問所有類型的數據源。如果沒有抽象技術,產品的生產力會大打折扣,修改成本增高,而用戶則為復雜性所困擾。

五、安全:審計與合規

彈性應用能自我審計,能夠顯示誰使用了應用,誰有權限使用,訪問了哪些數據以及政策如何實施。在應用開發階段就將這些功能考慮進去是應對日益增長的大數據隱私、安全、治理和控制挑戰的關鍵所在。

六、完整度與測試驅動的開發

彈性應用的一個基本要求就是不能遺失任何數據,數據完整性的喪失往往會導致嚴重的后果,例如金融企業會因為程序代碼弄丟了一兩行交易數據而在反洗錢或金融欺詐調查中遭受處罰。

七、數據便攜性

不斷發展的業務需求驅動技術不斷做出改變,因此,大數據應用也應當能夠在多個平臺和產品上運行。最終的目標是讓最終用戶能夠通過SQL和標準API訪問數據(無論是否實時)。例如,一個先進的大數據平臺應當允許原本由Hadoop存儲MapReduce處理的數據,轉移到Spark或Tez中進進行處理,而且這個過程不需要或盡可能少地改動代碼。

八、不要搞個人“巫術”

大數據應用的開發不應當依賴某個高手的個人才華,代碼應當在多個開發者之間分享、評估和保有。這個策略讓整個團隊,而不是個人,對應用質量負責。

責任編輯:彭凡 來源: 36大數據
相關推薦

2014-08-25 09:08:23

大數據應用開發

2020-09-08 06:28:42

大數據應用

2023-06-20 15:58:22

VMwareSpring

2023-08-25 15:13:16

大數據云計算

2015-03-30 08:56:18

Docker高效開發環境虛擬化

2013-09-12 14:28:44

大數據存儲

2017-10-24 15:28:27

PHP代碼簡潔SOLID原則

2022-08-14 14:52:45

數據存儲實踐

2012-09-17 11:19:49

IBMdw

2012-12-07 09:17:56

大數據云應用平臺vFabric

2020-06-30 10:56:20

大數據城市交通技術

2017-12-21 14:36:10

大數據健身智慧

2019-04-15 15:32:12

大數據開發數據分析數據科學

2012-10-09 10:51:51

大數據數據中心大數據應用

2021-05-21 17:51:10

物聯網大數據應用IOT

2023-08-22 15:40:12

云原生云計算

2024-10-15 10:51:47

2011-12-02 10:19:24

CSS

2012-12-24 09:42:11

大數據應用開發輔助開發工具大數據

2016-12-04 16:46:51

大數據架構機器學習
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日本精品视频一区二区三区四区 | 国产亚洲精品久久情网 | 一级片免费视频 | 91av视频在线| 丝袜美腿一区 | 亚洲一区国产精品 | 日韩欧美在 | 亚洲精品高清视频在线观看 | 免费黄色在线观看 | 91在线视频免费观看 | 91精品国产一区二区三区 | 国产一区二区三区在线 | 精品久久久久久久久久久久 | 国产精品69毛片高清亚洲 | 一区二区中文字幕 | 黄色一级大片在线免费看产 | 一区二区三区视频在线观看 | 国产成人久久精品一区二区三区 | 久久乐国产精品 | 看片网站在线 | 欧美高清视频一区 | 精品国产一区二区在线 | 人人cao| 欧美激情精品久久久久久 | 人人性人人性碰国产 | 久久久成人一区二区免费影院 | 最新日韩av| 狠狠躁躁夜夜躁波多野结依 | 本道综合精品 | 欧美综合一区二区三区 | 99日韩| 中文字幕第二区 | 日韩在线视频免费观看 | 成人小视频在线观看 | 中文字幕一区二区三区不卡 | 国产精品亚洲成在人线 | 成人精品国产一区二区4080 | 91玖玖| www.日日干 | 国产欧美精品一区二区 | 99视频 |