譯者 | 布加迪

審校 | 重樓

51CTO讀者成長計劃社群招募，咨詢小助手（微信號：CTOjishuzhan）

總部位于加州的數據工程公司Prophecy近日宣布了其核心平臺的新版本，該平臺具有低代碼SQL功能。

名為Prophecy 3.0的版本為數據工程師將該平臺的范圍擴大到了低代碼Spark之外，并為企業數據用戶提供了一款可視化的拖放式畫布，可用來在云數據平臺上直接構建數據管道。

以前，這個過程需要他們編寫復雜的SQL代碼，這會造成延遲和準確性問題，并影響下游的分析和機器學習工作。

1、低代碼SQL：它如何幫助數據管道？

構建數據管道本質上是準備數據進行分析。這意味著為諸多任務編寫SQL代碼：比如從數據庫中提取數據、轉換和清理信息以及將其加載到目標數據平臺中。對于數據工程師來說，這些都很平常，但是如果數據用戶試圖自行準備數據（可能是為了滿足特定的業務需求），這個過程就可能會成為瓶頸，導致無法及時為計劃的分析提供正確的數據。

畢竟，大多數業務用戶都是數據專家，而不是專家級數據工程師。

通過為平臺添加低代碼SQL，Prophecy彌合了這個差距，并為業務數據用戶提供可視化的拖放式界面，以構建他們所需的數據管道。一旦使用這款畫布，平臺的技術就會將表示轉換成切實可行的SQL代碼（作為開源dbt Core項目），并準備好管道進行分析。

Prophecy的聯合創始人兼首席執行官Raj Bains告訴IT外媒VentureBeat：“業務團隊可以快速簡單地自行準備數據進行分析。這使他們能夠更快地交付分析成果，快速適應不斷變化的業務需求。更重要的是，這還解放了常常不堪重負的集中式數據平臺團隊?！?/p>

圖1. 具有低代碼SQL功能的Prophecy 3.0

值得注意的是，該技術也可以反向工作：用戶可以在Prophecy中打開現有的dbt Core項目，并將SQL代碼編輯為可視化管道，更改回過頭來保存為SQL。

Bains補充說：“早期用戶也非常高興低代碼開發者和SQL碼農現在可以在同一個環境中工作，因為Prophecy可以同時將低代碼管道轉換成SQL代碼、將SQL代碼轉換成低代碼管道。”

2、統一平臺

雖然低代碼SQL是新的，但要注意的是，這不是該平臺的第一個可視化工具。該公司已經為Spark、Spark Streaming和Apache Airflow（用于數據工作流編排）提供低代碼支持——為具有不同專長和需求的用戶提供了統一的服務。

Gartner前大數據和高級分析研究副總裁Sanjeev Mohan說：“當不同的數據團隊使用不同的工具來構建管道時，這增加了成本、時間和風險……Prophecy 3.0版本可以幫助使用SQL的數據分析師、使用Spark的數據工程師、使用Apache Airflow的DevOps工程師借助統一的低代碼平臺進行協作。這開辟了新的可能性，比如始終如一地運用數據質量檢查，而不必考慮具體的語言，并啟用自助服務框架來創建數據產品?！?/p>

Eckerson Group的研究副總裁Kevin Petrie表示了同樣的觀點，他特別指出，往Prophecy的產品組合添加低代碼SQL，為面向SQL的數據工程師和面向dbi的分析工程師構建、管理和編排支持現代分析項目的管道提供了新的選擇。

他說：“企業繼續采用將基于SQL的查詢和轉換運用于云原生對象存儲的湖倉一體平臺。通過添加SQL管道功能，Prophecy顯著擴大了其潛在市場?！?/p>

Prophecy 3.0現已上線，可以在Databricks湖倉一體平臺上使用。

原文鏈接：https://venturebeat.com/data-infrastructure/how-prophecy-3-0-enables-businesses-to-build-data-pipelines-without-writing-sql-code/