我們知道，有了合適的技術，我們可以做得比僅僅跟上更新要好得多，并且如果我們還可以確保靈活的開發并能更輕松地保護我們的數據，在需要時訪問，處理和分析數據的過程，那么我們會做得更好。借助正確的工具和最佳實踐，組織可以使用其所有數據，使更多的用戶可以訪問它，并推動做出更好的業務決策。

新技術的創新可以改善可用性，簡單性，成本和性能方面的現代基于云的數據湖，數據倉庫和分析能力，這些能力應能夠獨立擴展計算和存儲，從而滿足當前和未來的需求。它不應干擾任何正在進行的工作負載，降低性能或由于后臺運行備份進程而導致服務不可用。而且它應該便宜，可以通過巧妙的方式來保存我們的數據，而不必將其復制和移動到其他地方。

現代數據湖是現代企業的基礎。如果設置正確，則數據湖將吸引人們自然而然地將想法吸引到那里，并在確保系統的耐用性，靈活性和可用性方面獲得有用的見解。

技術是任何現代數據湖的最基本需求-如今，如今，諸如Databricks，Microsoft Azure，AWS云之類的許多技術正在提供許多服務來支持大數據，這既是實現強大洞察力的特定方法，也是一種思想。更快，更好的決策，甚至跨多個行業的業務轉型。

數據湖的支柱包括可擴展和持久的數據存儲，收集和組織數據的機制以及處理和分析數據以及共享發現的工具。因此，我們專注于任何現代數據湖中應包含的關鍵技術，以支持大數據意味著任何類型的數據。

• 云具有無限的資源-基于云的服務特別適合數據湖，因為它為我們提供了無限的資源，這意味著云基礎架構可在幾分鐘或幾秒鐘內按需提供幾乎無限的資源，而無需擔心任何事情。組織只需為使用的資源付費，從而可以在不影響性能的情況下動態支持任何規模的用戶和工作負載。

• 節省資金，專注于數據的云技術—基于云的服務可為任何組織提供云構建的解決方案，從而避免了硬件，軟件和其他基礎架構的昂貴，前期投資以及維護，更新和保護的成本本地系統。

• 云技術附帶了自然集成點：據估計，您要分析的數據中有多達80%來自業務應用程序數據，運營數據存儲，點擊流數據，社交媒體平臺，物聯網事物和實時流數據。與構建內部數據中心相比，將這些數據集成到云中要容易得多，而且成本更低。

• 使用noSQL內置-它描述了一種技術，該技術可以存儲和分析更新形式的數據，例如從計算機和社交媒體生成的數據，以豐富和擴展組織的數據分析。眾所周知，傳統的數據倉庫無法很好地容納這些數據類型。因此，近年來出現了更新的系統來處理這些半結構化和非結構化數據形式，例如JSON，Avro和XML。

• 支持現有技能和專業知識-Data Lake支持有效存儲和處理任何類型的數據，數據管理，數據轉換，集成，可視化，商業智能和分析工具所需的功能，可以輕松地與SQL數據倉庫進行通信。標準SQL根深蒂固的角色也意味著大量人具有SQL技能。它使其他編程語言能夠提取和分析數據。

應該清楚地認識到云在成本，規模，性能，易用性和安全性方面的內在優勢，因為它們對整體數據湖計劃和成果的影響。彈性云數據湖具有兩個主要優勢：

• 容量規劃和管理的復雜性和成本–系統的規模，平衡和調整系統應內置于系統中，并由其自動化，并由我們的訂購成本承擔。
• 快速動態配置存儲和計算資源以滿足高峰和穩定使用期間不斷變化的工作負載的需求也是如此。容量是我們在需要時所需的一切。

選擇最佳的基于云的數據湖生態系統-理想的云數據湖解決方案兼具兩全其美的能力-靈活地集成關系和非關系數據以及識別服務，從而為企業和企業用戶提供所需的架構方法并切實可行，數據科學家也是如此。最好的基于云的數據湖生態系統產品完美地說明了這些要點。這些包括：

• 存儲— Data Lake存儲必須能夠容納大量結構化，半結構化和非結構化數據。盡管Hadoop的HDFS可以支持，但基于云的對象存儲可能是更好的選擇，不僅可以在節點之間分布數據冗余。AWS提供了用于可靠，安全且可擴展的對象存儲的Amazon Simple Storage Service(S3)和Amazon Glacier，后者具有相似的特性，可以以最低的管理開銷實現極低成本的長期歸檔和備份。

• 計算—在數據湖中，您可以通過使用不同的計算資源輕松地應用不同的分析算法。例如，流分析將需要高吞吐量，而批處理可能會占用大量處理器。Apache Spark可能需要大量內存，而AI在GPU上可能效果最好。與其他云提供商以及本地Hadoop相比，基于云的理想數據湖服務具有顯著的靈活性，后者將存儲直接綁定到每個節點中的計算。

• 分析—數據湖的美德在于它如何針對許多不同的用例，以多種不同的方式分析同一數據。理想的基于云的數據湖生態系統無需將數據遷移到不同的操作環境，也不需要隨之而來的開銷，成本，工作量或延遲。

• 數據庫-并非所有的數據湖數據都是非結構化的。通常，在事務和分析處理方面擁有更緊密的組織是很有意義的。同樣，這提供了滿足許多數據湖應用程序需求的多功能性。

• 實時流處理-并非所有數據都簡單地存儲在數據湖中并在以后進行分析。通常，需要收集，存儲，處理甚至分析運動中的實時數據。一個理想的基于云的數據湖生態系統，可提供強大的服務來收集，存儲和分析流數據，并能夠構建滿足特殊需求的自定義流數據應用程序。

• 人工智能-這是任何理想的基于云的數據湖生態系統中最有用的功能。人工智能和機器學習越來越成為構建智能應用程序的流行工具，例如預測分析和深度學習。

• 安全服務-如圖所示，安全，隱私和治理是將敏感數據信任到云數據湖的基本要素。

• 數據管理服務-由于數據在不同的平臺中使用，因此ETL是一項重要功能，可確保正確地移動和理解數據。理想的基于云的數據湖生態系統必須具有ETL引擎，以輕松理解數據源，準備數據并將其可靠地加載到數據存儲中。

• 應用程序服務—盡管數據湖本身可以是無價的資源，但當與更高級別的應用程序集成時，它確實會變得活躍起來。理想的基于云的數據湖生態系統具有功能全面的實用程序，可用于IoT用例，移動應用程序以及對其他任何對象的API調用。

數據湖的基本前提是對各種分析和面向分析的應用程序和用戶具有適應性，并且所有其他企業需求都有安全性，訪問控制以及合規性框架和實用程序等服務滿足。