數據，已成為互聯網企業非常依賴的新型重要資產。“用數據說話”也越來越成為一種共識，然而并非任何數據都可以用來說話。

智能數據挖掘與處理技術

在數字化時代，海量數據成為了各行各業的寶貴資產。然而，僅僅擁有大量數據并不足以帶來商業價值，關鍵在于如何從這些數據中提取有用的信息和洞察。數據挖掘和數據分析成為了實現這一目標的關鍵工具，可以幫助企業發現隱藏在數據背后的價值，做出更明智的決策。

我們身處信息爆炸的時代，我們每個人每天都要和無數的數據打交道，對從事大數據行業的人來說更是如此。在大數據行業有三個熱門的技術詞匯：數據挖掘、數據分析、數據質量。

大數據分析師技能圖譜

隨著組織不斷發展壯大，組織內部數據量劇增，數據系統存在大量無效冗余舊數據，錯誤數據，殘缺數據的情況，影響后續數據處理分析，使管理層決策失誤。問題數據頻繁出現的背后，是組織數據質量管理不善導致的。

數據質量是數據的生命線，沒有高質量的數據，一切數據分析、數據挖掘、數據應用基于錯誤數據，數據價值會大打折扣，甚至出現完全錯誤的結論，浪費組織大量時間和精力，得不償失。

這個時候肯定會有不少的粉絲會咨詢，數據分析、數據挖掘、數據質檢三者之間有啥區別呢？

簡而言之：數據分析一般是具有明確的分析目標的，而數據挖掘則是要從海量的數據中尋找潛在的規律從而獲取價值。

• 數據分析旨在從海量業務數據中獲得有用信息，以便更好地為決策服務。

數據分析的完整流程圖

• 數據挖掘，顧名思義，就像從沙子中挖掘黃金。

數據挖掘全過程

• 數據質量含義還是比較好理解的。簡單一點來說，就是對數據進行的質量檢測。這個就不過多解釋。

數據質量問題

他們主要區別體現在以下幾個方面：

• 數據分析的重點在于觀察數據，而數據挖掘的重點是從數據中發現潛在的有價值的規律。
• 數據分析主要依賴人工的技術操作活動，而數據挖掘主要是依托于計算機科學從龐大的數據集中提取有價值的信息。
• 通過數據分析得到的信息需要人工進一步提取價值，而通過數據挖掘得到的規律結論可以直接應用于業務進行預測。
• 數據分析不能直接建立數學模型，需要人工建模，而數據挖掘可以自動完成。傳統的控制論建模本質就是描述輸入變量與輸出變量之間的函數關系。數據挖掘可以利用機器學習技術自動建立輸入與輸出的函數關系，根據數據中的規律給出輸入參數，得出輸出量。

借此機會，今天小編給大家15個熱門開源免費的數據挖掘、數據分析、數據質量管理工具，值得學習收藏，讓正在從事大數據小伙們有頭緒和對數據挖掘、數據分析思路，希望對更多粉絲們有所幫助。同時祝福大家一切順利，心想事成，永遠開心快樂，身體健康，愿你的生活更加充實，愿你的未來更加輝煌。接下來小編給大家介紹一些開源免費的數據挖掘、數據分析、數據質量管理工具，喜歡的小伙們記得點個贊和收藏。

全文大綱

1. SZT-bigdata - 深圳地鐵大數據客流分析系統
2. dbt-core - 是一個數據管道開發平臺，支持動態SQL、模板和建模等功能。
3. erd-online - 是全球第一個開源、免費在線數據建模、元數據AI平臺。
4. LarkMidTable - 是一站式開源的數據中臺，實現元數據管理，數據倉庫開發，數據質量管理，數據的可視化，實現高效賦能數據前臺并提供數據服務的產品。
5. datacap - 是用于數據轉換、集成和可視化的集成軟件。支持多種數據源、文件類型、大數據相關數據庫、關系數據庫、NoSQL數據庫等。
6. Qualitis - 是一個支持多種異構數據源的質量校驗、通知、管理服務的數據質量管理平臺
7. deequ - 是一款非常適合用于Spark的質量檢測工具
8. datax-cloud - 是為數字化建設而生的企業級一站式數據治理平臺。
9. piflow - 混合型科學大數據流水線系統。
10. great_expectations - 是最受歡迎的數據質量管理工具之一。
11. TipDM - 建模平臺提供數據豐富的數據預處理、 數據分析與數據挖掘組件，是開源的數據挖掘工具。
12. Deta_Unicorn_ETL - 數據可視化, 數據挖掘, 數據處理 ETL分析系統
13. soda-core - 是一個Python開發的開源數據質量工具
14. bboss-elastic-tran - 由 bboss 開源的數據采集&流批一體化工具
15. mobydq - 是數據工程團隊的一個工具，可以自動對數據管道進行數據質量檢查，捕獲數據質量問題并在異常情況下觸發警報

SZT-bigdata - 深圳地鐵大數據客流分析系統

Github：https://github.com/geekyouth/SZT-bigdata

介紹

• 該項目主要分析深圳通刷卡數據，通過大數據技術角度來研究深圳地鐵客運能力，探索深圳地鐵優化服務的方向；
• 強調學以致用，本項目的原則是盡可能使用較多的常用技術框架，加深對各技術棧的理解和運用，在使用過程中體驗各框架的差異和優劣，為以后的項目開發技術選型做基礎；
• 解決同一個問題，可能有多種技術實現，實際的企業開發應當遵守最佳實踐原則；
• 學習過程優先選擇較新的軟件版本，因為新版踩坑一定比老版更多，坑踩的多了，技能也就提高了，遇到新問題可以見招拆招、對癥下藥；

dbt-core - 是一個數據管道開發平臺，支持動態SQL、模板和建模等功能。

Github：https://github.com/dbt-labs/dbt-core

dbt 官網

介紹

dbt?是一個SQL優先的轉換工作流，使團隊能夠按照模塊化、可移植性、CI/CD和文檔等軟件工程最佳實踐快速協作地部署分析代碼。現在，數據團隊中的任何人都可以安全地為生產級數據管道做出貢獻。

dbt是一個數據管道開發平臺，支持動態SQL、模板和建模等功能。dbt的一個重要特性是自動化測試，用戶可以使用dbt執行全面數據測試、數據質量檢查和數據驗證。可以在數據管道、數據源和目標數據之上使用dbt執行的質量檢測模型，例如：數據范式（3NF及以上）模型、維度模型和數據倉庫模型。

dbt除了提供數據測試和數據質量功能，在應用生態上，許多公司還為dbt擴展數據質量功能。例如：Elementary，它能夠總結dbt中的所有內容，提供數據質量監控指標、數據新鮮度、數據異常信息和異常數據分析的功能。

系統截圖

erd-online - 是全球第一個開源、免費在線數據建模、元數據AI平臺。

Gitee：https://gitee.com/MARTIN-88/erd-online

介紹

ERD Online 是全球第一個開源、免費在線數據建模、元數據AI平臺。集成ChatGPT,提供簡單易用的元數據設計、關系圖設計、SQL審批查詢等功能，輔以版本、導入、導出、數據源、SQL解析、審計、團隊協作等功能，方便我們快速、安全的管理數據庫中的元數據。

特性

•  開箱即用：將注意力集中在數據結構設計上
•  團隊協作：三級權限（擁有者、管理員、普通角色）管理，元素級權限控制
•  元數據設計：快速復制已有表結構、JSON 生成表，表默認字段、默認大小寫等控制
•  元數據管理：在線管理表結構，支持正向向數據庫執行
•  元數據解析：將已有的數據庫結構解析到軟件中管理
•  多數源支持：支持多種數據庫連接在線管理（Mysql、Oracle、DB2、SqlServer、PostGreSql），各數據源之間元數據結構同步
•  版本管理：每個需求與變動，都可以生成版本；每個版本之間可以比對差異
•  可將所有表結構，自動生成 word、html、md 文檔，便于線下流動
•  在線SQL：在線SQL查詢、SQL執行計劃，歷史查詢留痕
•  永不丟失：元數據歷史操作版本留痕（最近9次），可以恢復到任意歷史版本
•  數據字典：全局數據字典設計，控制元數據設計規范

發展里程碑

產品圖鑒

系統截圖

LarkMidTable - 是一站式開源的數據中臺，實現元數據管理，數據倉庫開發，數據質量管理，數據的可視化，實現高效賦能數據前臺并提供數據服務的產品。

Gitee：https://gitee.com/LarkMidTable/LarkMidTable

介紹

LarkMidTable 中文名稱 云雀，云代表大數據，雀代表平凡和自由。

LarkMidTable 是一站式開源的數據中臺，實現中臺的基礎建設，數據治理，數據開發，監控告警，數據服務，數據的可視化，實現高效賦能數據前臺并提供數據服務的產品。

產品架構圖

系統截圖

datacap - 是用于數據轉換、集成和可視化的集成軟件。支持多種數據源、文件類型、大數據相關數據庫、關系數據庫、NoSQL數據庫等。

Github：https://github.com/devlive-community/datacap

介紹

DataCap 是用于數據轉換、集成和可視化的集成軟件。

支持多種數據源、文件類型、大數據相關數據庫、關系數據庫、NoSQL數據庫等。

通過軟件可以實現多數據源的管理，對源下的數據進行各種操作轉換、制作數據圖表、監控數據源和其他功能。

系統截圖

Qualitis - 是一個支持多種異構數據源的質量校驗、通知、管理服務的數據質量管理平臺

Gitee：https://gitee.com/WeBank/Qualitis

介紹

Qualitis是一個支持多種異構數據源的質量校驗、通知、管理服務的數據質量管理平臺，用于解決業務系統運行、數據中心建設及數據治理過程中的各種數據質量問題。

Qualitis基于Spring Boot，依賴于Linkis進行數據計算，提供數據質量模型構建，數據質量模型執行，數據質量任務管理，異常數據發現保存以及數據質量報表生成等功能。并提供了金融級數據質量模型資源隔離，資源管控，權限隔離等企業特性，具備高并發，高性能，高可用的大數據質量管理能力。

核心特點

• 數據質量模型定義支持以下數據模型定義：1.單表校驗數據模型。2.跨表校驗數據模型。3.自定義校驗數據模型。同時，系統預置了多個數據質量校驗模版，包括空值校驗，枚舉校驗等常用校驗，并且支持自定義數據質量模版。
• 數據質量模型調度支持數據質量模型調度。
• 數據質量報表支持生成數據質量報表。
• 日志管理 日志聚合管理，方便排查數據質量任務
• 異常數據管理 支持異常數據提取和存儲，快速定位問題
• 支持工作流 支持在工作流當中進行數據質量校驗工作流必裝DataSphereStudio.
• 管理員控制臺提供管理員控制臺界面，支持人員管理，權限管理，權限管理，元數據管理等管理功能。

與類似系統對比

架構圖

用例圖

系統截圖

deequ - 是一款非常適合用于Spark的質量檢測工具

Github：https://github.com/awslabs/deequ

介紹

Deequ是一個建立在Apache Spark之上的庫，用于定義“數據單元測試”，測量大型數據集中的數據質量。

隨著Spark的應用越來越多，Deequ是一款非常適合用于Spark的質量檢測工具，非常適合測試大批量數據，Spark DataFrame的任何東西都可以使用Deequ進行測試。并將結果輸出到任何關系數據庫、CSV文件或者日志等。Spark的作業主要使用Scala或Python語言編寫，對于原生Scala，Deequ可以直接使用，但對于Python，就需要一個名為PyDeequ的包裝器。

datax-cloud - 是為數字化建設而生的企業級一站式數據治理平臺。

Gitee：https://gitee.com/yuwei1203/datax-cloud

介紹

智數通提供了元數據管理、數據標準管理、數據質量管理、主數據管理、數據集市管理、可視化圖表看板、流程管理等微服務，是為數字化建設而生的企業級一站式數據治理平臺。

特性

• 智數通服務理念：平臺化、資產化、服務化，及圍繞“平臺化”、“資產化”、“服務化”，聚焦數智場景，賦能行業生態，讓數據產生價值。
• 智數通應用微服務云原生技術，封裝了大量技術開發包、技術應用組件、技術場景實現能力，提供了一個可支持企業各業務系統或產品快速開發實現的微服務應用數字化融合平臺，富含各類開箱即用的組件、微服務業務系統，助力企業跨越Cloud與自身數字化的鴻溝，共享業務服務的組合重用，為企業服務化中臺整合、數字化轉型提供強力支撐，也為企業提供了最佳架構實踐。智數通不僅提供了企業級應用系統所包含的常用開箱即用的模塊，并支持靈活的可配置性和拓展性。智數通還是一套基于Spring Cloud的微服務應用程序框架，可幫助公司更快，更高效地進行微服務開發。
• 智數通理念認為，企業首先應當建立集中統一的數據中臺，將全域的數據都同步到統一的數據中臺，基于數中臺來進行數據治理，事半功倍。數據存儲統一，可以在后續的數據治理和數據業務化的過程中實現數據不搬動，降低數據的處理成本；數據計算統一，可以實現基礎元數據的自動維護，為數據治理打下最堅實的基礎。
• 智數通提供了統一的元數據自動采集和維護入口，在元數據模塊中為數據管理提供了準確實時的基礎數據，在此之上結合企業的現狀調研和咨詢，可以構建企業級的數據資產類目體系和數據安全體系；同時，通過數據質量模塊，實現數據處理的質量管控。然后通過數據API模塊，為上層豐富的數據應用價值實現提供引擎能力。通過可視化模塊無需搭配任何開發工具，簡單拖拽和開發，即可完成復雜的數據分析任務等等。
• 從數據同步、到數據開發、到數據管理、到數據質量控制、到數據應用價值實現，智數通在產品層面對于指引都能提供支撐，這是將多年大數據實踐經驗產品化的結果。智數通，就是為數據治理而生的企業級一站式數據中臺，為數據市場搶占先機。

架構圖

智數通采用 J2EE 技術體系，基于Spring Cloud微服務框架進行封裝，平臺設計靈活可擴展、可移植、可應對高并發需求。同時兼顧本地化、私有云、公有云部署。

主要技術棧

后端技術棧

• 開發框架：Spring Boot 2.3
• 微服務框架：Spring Cloud Hoxton.SR9
• 安全框架：Spring Security + Spring OAuth 2.0
• 任務調度：Quartz
• 持久層框架：MyBatis Plus
• 數據庫連接池：Hikaricp
• 服務注冊與發現: Spring Cloud Config
• 客戶端負載均衡：Ribbon
• 熔斷組件：Hystrix
• 網關組件：Spring Cloud Gateway
• 消息隊列：Rabbitmq
• 緩存：Redis
• 日志管理：Logback
• 運行容器：Undertow
• 工作流: Flowable 6.5.0

前端技術棧

• JS框架：Vue、nodejs
• CSS框架：sass
• 組件庫：ElementUI
• 打包構建工具：Webpack

系統截圖

piflow - 混合型科學大數據流水線系統。

Gitee：https://gitee.com/opensci/piflow

介紹

混合型科學大數據流水線系統，包含豐富的處理器組件，提供Shell、DSL、Web配置界面、任務調度、任務監控等功能

特性

• 簡單易用

可視化配置流水線

監控流水線

查看流水線日志

檢查點功能

流水線調度

• 擴展性強:
• 支持自定義開發數據處理組件
• 性能優越：
• 基于分布式計算引擎Spark開發
• 功能強大：
• 提供100+的數據處理組件
• 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等
• 集成了微生物領域的相關算法

架構圖

系統截圖

great_expectations - 是最受歡迎的數據質量管理工具之一。

Github：https://github.com/great-expectations/great_expectations

介紹

Great Expectations（GX）可以數據工程師進行質量檢測、創建分析文檔來提高團隊成員對數據的理解。

Great Expectations（GX）是最受歡迎的數據質量管理工具之一。

GX期望通過連接到數據源運行事先定義好的集成模板來檢測數據。在官方指南中，可以找到更多關于GX與Databasericks、Flyte、Prefect和EMR等工具和平臺集成的信息。目前Great Expectation維護非常積極，并且已被Vimeo、Calm、ING、Glovo、Avito、DeliveryHero、Atlan和Heineken等公司使用。

GX規范了“數據的預期狀態”。GX與數據源的集成意味著所有的數據質量檢查都在適當的位置完成，并且沒有數據被移出數據源。GX還可通過自動化數據質量檢測、實時監測結果記錄以及運行摘要來支持數據質量管理。GX還可以直接與Airflow , Meltano等工具集成。支持將質量檢測結果保存到各種數據庫或者文件系統中。

TipDM - 建模平臺提供數據豐富的數據預處理、 數據分析與數據挖掘組件，是開源的數據挖掘工具。

Gitee：https://gitee.com/guangzhou_TipDM_intelligence_devp/TipDM

介紹

TipDM建模平臺，是由廣東泰迪智能科技股份有限公司研發并開源的數據挖掘工具，TipDM建模平臺提供數據豐富的數據預處理、 數據分析與數據挖掘組件，幫助廣大中小企業快速建立數據挖掘工程，提升數據處理的效能。同時，我們也在積極 推動大數據挖掘社區建設，構建校企對接橋梁，為企業精準推送優質大數據挖掘人才；在產業需求的基礎上推動高 校的人才培養工作。

特性

• 基于Python，用于數據挖掘建模。
• 使用直觀的拖放式圖形界面構建數據挖掘工作流程，無需編程。
• 支持多種數據源，包括CSV文件和關系型數據庫。
• 支持挖掘流程每個節點的結果在線預覽。
• 提供5大類共40種算法組件，包括數據預處理、分類、聚類等數據挖掘算法。
• 支持新增/編輯算法組件，自定義程度高。
• 提供眾多公開可用的數據挖掘示例工程，一鍵創建，快速運行。
• 提供完善的交流社區，提供數據挖掘相關的學習資源（數據、代碼和模型等）。

系統截圖

Deta_Unicorn_ETL - 數據可視化, 數據挖掘, 數據處理 ETL分析系統

Github：https://github.com/yaoguangluo/ETL_Unicorn

介紹

德塔人工智能數據分析ETL可重用節點工作流處理軟件引擎系統。

這個工程用于節點數據工作流執行。該軟件的亮點為：世界最輕的ETL批處理引擎（6KB）采用VPCS結構，啟動快，效率高，操作簡單，結構輕，網頁嵌入，執行快，高并發，二次開發簡易，自由修改源碼實現各種風格。

系統截圖

soda-core - 是一個Python開發的開源數據質量工具

Github：https://github.com/sodadata/soda-core

介紹

Soda Core是一個Python開發的開源數據質量工具，旨在確保數據平臺中的數據可靠性。它附帶了命令行工具。支持SodaCL（Soda Checks Language），SodaCL是一種兼容YAML，可靠的，用于特定領域的語言。

Soda Core可以連接到數據源和工作流，確保數據不論在管道內還是管道外都能夠被檢測。

Soda Core支持廣泛的數據源、連接器和測試類型，它是目前開源項目中對數據連接器覆蓋最全面的數據質量工具，如Dask、DuckDB、Dremio等。

Soda Core是一個免費的、開源的命令行工具和Python庫，使您能夠使用Soda Checks Language將用戶定義的輸入轉換為聚合的SQL查詢。

當Soda Core在數據集上運行掃描時，它會執行檢查以查找無效、丟失或意外的數據。當您的蘇打水檢查失敗時，它們會顯示您定義為質量差的數據。

?與SodaCL語言兼容

?支持數據管道和開發工作流內外的數據質量測試

?集成以允許在數據管道中進行Soda掃描，或按基于時間的時間表進行編程掃描

bboss-elastic-tran - 由 bboss 開源的數據采集&流批一體化工具

Gitee：https://gitee.com/bboss/bboss-elastic-tran

介紹

bboss-datatran由 bboss 開源的數據采集同步ETL工具，提供數據采集、數據清洗轉換處理和數據入庫以及數據指標統計計算流批一體化處理功能。

bboss-datatran 數據同步作業直接采用java語言開發，小巧而精致，同時又可以采用java提供的所有功能和現有組件框架，隨心所欲地處理和加工海量存量數據、實時增量數據，實現流批一體數據處理功能；可以根據數據規模及同步性能要求，按需配置和調整數據采集同步作業所需內存、工作線程、線程隊列大小；可以將作業獨立運行，亦可以將作業嵌入基于java開發的各種應用一起運行；提供了作業任務控制API、作業監控api，支持作業啟動、暫停(pause)、繼續（resume）、停止控制機制，可輕松定制一款屬于自己的ETL管理工具。

工具可以靈活定制具備各種功能的數據采集統計作業

• 只采集和處理數據作業
• 采集和處理數據、指標統計計算混合作業
• 采集數據只做指標統計計算作業

特點

• 支持時間維度和非時間維度指標計算
• 時間維度指標計算：支持指定統計時間窗口，單位到分鐘級別
• 一個指標支持多個維度和多個度量字段計算，多個維度字段值構造成指標的唯一指標key，支持有限基數key和無限基數key指標計算
• 一個作業可以支持多種類型的指標，每種類型指標支持多個指標計算

mobydq - 是數據工程團隊的一個工具，可以自動對數據管道進行數據質量檢查，捕獲數據質量問題并在異常情況下觸發警報

Github：https://github.com/ubisoft/mobydq

介紹

MobyDQ是數據工程團隊的一個工具，可以自動對數據管道進行數據質量檢查，捕獲數據質量問題并在異常情況下觸發警報，無論他們使用的數據源是什么。

數據質量檢測工具MobyDQ可以獨立運行于開發環境和測試環境。而在生產環境中，MobyDQ也支持使用Docker或Kubernetes容器運行。 MobyDQ的數據質量框架主要側重四大質量指標：完整性、新鮮度、響應時間和有效性。MobyDQ支持豐富的數據源，例如：MySQL、PostgreSQL、Teradata、Hive、Snowflake和MariaDB等。 MobyDQ允許用戶使用其GraphQL API運行測試，支持將此API與Python 或 JavaScript之類的編程語言一起使用，另外，MobyDQ在結構化數據測試方面，它還提供了基于Hive，PostgreSQL，MySQL等數據源的Demo。

截圖