51CTO首頁

AI.x社區(qū)

博客

學(xué)堂

精品班

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認證華為認證廠商認證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習(xí)

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點、技術(shù)難點與應(yīng)用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。

文章博文

共 353 條

大數(shù)據(jù)基礎(chǔ)架構(gòu)Hadoop，終于有人講明白了

Kafka是一個分布式的基于發(fā)布/訂閱模式的消息隊列，主要應(yīng)用于大數(shù)據(jù)實時處理領(lǐng)域。Kafka是一個事件流平臺，能夠連接其他數(shù)據(jù)源進行持續(xù)的數(shù)據(jù)導(dǎo)入或?qū)С觯⑶铱梢愿鶕?jù)需求持久可靠地存儲數(shù)據(jù)。

2022-10-14 18:22:18

Kafka Hive ZooKeeper

Spark SQL 字段血緣在 vivo 互聯(lián)網(wǎng)的實踐

字段血緣是在表處理的過程中將字段的處理過程保留下來。為什么會需要字段血緣呢?有了字段間的血緣關(guān)系，便可以知道數(shù)據(jù)的來源去處，以及字段之間的轉(zhuǎn)換關(guān)系，這樣對數(shù)據(jù)的質(zhì)量，治理有很大的幫助。

2022-04-21 08:09:18

Spark 字段血緣 Spark SQL

Spark的兩種核心Shuffle詳解

Spark Shuffle 分為兩種：一種是基于 Hash 的 Shuffle；另一種是基于 Sort 的 Shuffle。先介紹下它們的發(fā)展歷程，有助于我們更好的理解 Shuffle。

2022-03-15 08:25:32

Spark Shuffle 框架

SparkSQL 在企業(yè)級數(shù)倉建設(shè)的優(yōu)勢原創(chuàng) 精選

隨著企業(yè)的業(yè)務(wù)發(fā)展越來越復(fù)雜，需要更加靈活、更加高效的數(shù)倉架構(gòu)，在這樣的業(yè)務(wù)驅(qū)動背景下，Hive 的局限變得越來越明顯，而基于 Spark SQL 靈活構(gòu)建數(shù)倉的方案將會變得越來越主流。

2022-03-09 16:53:38

Hive Spark SQL 數(shù)據(jù)湖

Spark 數(shù)據(jù)傾斜及其解決方案

『不患多而患不均』，這是分布式環(huán)境下最大的問題。意味著計算能力不是線性擴展的，而是存在短板效應(yīng): 一個 Stage 所耗費的時間，是由最慢的那個 Task 決定。

2022-02-23 12:07:20

分布式 Spark 數(shù)據(jù)傾斜

Spark查詢太慢？試試這款 Mpp 數(shù)據(jù)庫吧！

Greenplum數(shù)據(jù)庫是基于MPP架構(gòu)的開源大數(shù)據(jù)平臺，具有良好的彈性和線性擴展能力，內(nèi)置并行存儲、并行通信、并行計算和并行優(yōu)化功能，兼容SQL標準，具有強大、高效的PB級數(shù)據(jù)存儲、處理和實時分析能力，同時支持涵蓋OLTP型業(yè)務(wù)的混合負載，可部署于企業(yè)裸機、容器、私有云和公有云中，已為全球金融、電信、制造等行業(yè)核心生產(chǎn)系統(tǒng)提供支撐。

2022-01-06 08:34:32

數(shù)據(jù)庫 Spark查詢

Spark 性能調(diào)優(yōu)核心原理，你會嗎？

所謂內(nèi)存計算，不僅僅是指數(shù)據(jù)可以緩存在內(nèi)存中，更重要的是，通過計算的融合來大幅提升數(shù)據(jù)在內(nèi)存中的轉(zhuǎn)換效率，進而從整體上提升應(yīng)用的執(zhí)行性能。

2021-12-26 00:03:25

Spark 性能調(diào)優(yōu)

比較Hadoop、Spark和Kafka大數(shù)據(jù)框架

大數(shù)據(jù)框架最初用于數(shù)據(jù)倉庫或數(shù)據(jù)湖中的靜態(tài)數(shù)據(jù)，但最近的趨勢是實時處理來自多個源的數(shù)據(jù)。

2021-12-14 09:56:51

Hadoop Spark Kafka

Spark 架構(gòu)設(shè)計與原理思想

Spark 在 MapReduce 的基礎(chǔ)上進行了改進，它主要使用內(nèi)存進行中間計算數(shù)據(jù)存儲，加快了計算執(zhí)行時間，在某些情況下性能可以提升百倍。

2021-11-11 10:48:35

架構(gòu)運維技術(shù)

華為云發(fā)布SparkRTC實時音視頻服務(wù)，使能全球客戶業(yè)務(wù)創(chuàng)新

音頻和視頻的全球網(wǎng)絡(luò)服務(wù)已成為很多數(shù)字化應(yīng)用的基本需求，華為云SparkRTC實時音視頻服務(wù)，將華為30多年來在音視頻編解碼

2021-09-23 19:25:40

終于有人將Spark的技術(shù)框架講明白了

Spark是加州大學(xué)伯克利分校的AMP實驗室開源的類似MapReduce的通用并行計算框架，擁有MapReduce所具備的分布式計算的優(yōu)點。但不同于MapReduce的是，Spark更多地采用內(nèi)存計算，減少了磁盤讀寫，比MapReduce性能更高。

2021-09-14 18:27:08

Spark

Hadoop、Spark、Hive到底是什么，做算法要不要學(xué)？

最近我發(fā)現(xiàn)，很多萌新說著想要做算法工程師，但是卻對這個崗位的要求以及工作內(nèi)容一無所知。以為學(xué)一個Python，再學(xué)一些機器學(xué)習(xí)、深度學(xué)習(xí)的模型就可以勝任了。工作就是用Python不停地寫模型。

2021-09-09 15:09:56

Hadoop Spark Hive

面試 | 十分鐘聊透Spark

Spark是一個快速的大數(shù)據(jù)處理引擎，在實際的生產(chǎn)環(huán)境中，應(yīng)用十分廣泛。目前，Spark仍然是大數(shù)據(jù)開發(fā)非常重要的一個工具，所以在面試的過程中，Spark也會是被重點考察的對象。

2021-09-07 09:40:20

Spark 大數(shù)據(jù)引擎

Spark ON Yarn的資源分配圖解

在Spark中，執(zhí)行內(nèi)存和存儲內(nèi)存共享一個統(tǒng)一的區(qū)域。當沒有使用執(zhí)行內(nèi)存時，存儲內(nèi)存可以獲取所有可用內(nèi)存，反之亦然。如有必要，執(zhí)行內(nèi)存可以占用存儲存儲，但僅限于總存儲內(nèi)存使用量低于某個閾值。

2021-08-31 23:09:27

Spark 資源分配

分布式計算引擎 Flink/Spark on k8s 的實現(xiàn)對比以及實踐

以 Flink 和 Spark 為代表的分布式流批計算框架的下層資源管理平臺逐漸從 Hadoop 生態(tài)的 YARN 轉(zhuǎn)向 Kubernetes 生態(tài)的 k8s 原生 scheduler 以及周邊資源調(diào)度器，比如 Volcano 和 Yunikorn 等。這篇文章簡單比較一下兩種計算框架在 Native Kubernetes 的支持和實現(xiàn)上的異同，以及對于應(yīng)用到生產(chǎn)環(huán)境我們還需要做些什么。

2021-08-30 10:28:09

Flink Spark on k8 分布式

使用Spark Streaming轉(zhuǎn)換不同的JSON有效負載譯文

使用 Spark Streaming，你只需要從數(shù)據(jù)源創(chuàng)建一個讀流，這樣就可以創(chuàng)建寫入流將數(shù)據(jù)加載到目標數(shù)據(jù)源中。

2021-08-20 16:37:42

Spark Spark Strea

Spark的兩種核心Shuffle詳解

在 MapReduce 框架中， Shuffle 階段是連接 Map 與 Reduce 之間的橋梁， Map 階段通過 Shuffle 過程將數(shù)據(jù)輸出到 Reduce 階段中。由于 Shuffle 涉及磁盤的讀寫和網(wǎng)絡(luò) I/O，

2021-08-11 06:57:16

Shuffle Spark 核心

如何在Kubernetes上運行Apache Spark 譯文

Empathy公司平臺工程技術(shù)負責人Ramiro Alvarez Fernandez對于如何在Kubernetes上使用Spark以擺脫對云計算提供商的依賴，以及在Kubernetes上運行Apache Spark進行了介紹，并分享了這一過程的挑戰(zhàn)、架構(gòu)和解決方案等詳細信息。

2021-08-09 09:00:00

Kubernetes 云計算架構(gòu)

用Spark，Kafka和k8s構(gòu)建下一代數(shù)據(jù)管道譯文

本文檢查了架構(gòu)模式，并提供了一些示例代碼供讀者在自己的環(huán)境中實現(xiàn)。

2021-08-06 09:47:43

架構(gòu)開發(fā)數(shù)據(jù)集成

EnginePlus受邀參加亞馬遜云科技中國峰會分享Spark on Amazon EKS實踐經(jīng)驗

亞馬遜云科技中國峰會在上海召開。亞馬遜云科技的眾多技術(shù)合作伙伴受邀出席峰會，圍繞“構(gòu)建新格局，重塑云時代”的主題，進行了系列主題演講和產(chǎn)品展示，分享云計算領(lǐng)域的先進技術(shù)經(jīng)驗與企業(yè)成功實踐。

2021-07-30 17:11:21

EnginePlus 亞馬遜云科技

MaxCompute Spark 資源使用優(yōu)化祥解

本文主要講解MaxCompute Spark資源調(diào)優(yōu)，目的在于在保證Spark任務(wù)正常運行的前提下，指導(dǎo)用戶更好地對Spark作業(yè)資源使用進行優(yōu)化，極大化利用資源，降低成本。

2021-07-27 15:56:28

MaxCompute 資源優(yōu)化

痛苦調(diào)優(yōu)10小時，我把 Spark 腳本運行時間從15小時縮短到12分鐘！

周一我就有個困惑，還寫成文章了：如何從 Spark 的 DataFrame 中取出具體某一行，里面提了自己猜想的幾種解決方案沒想到這么快就要面對這個問題了，我用小孩子都聽得懂的例子描述一下我在干什么。

2021-07-21 07:55:22

技術(shù)

Spark 大數(shù)據(jù)處理最佳實踐

本文主要案例介紹如何利用Spark 大數(shù)據(jù)技術(shù)。

2021-07-20 15:37:37

數(shù)據(jù)開發(fā)大數(shù)據(jù)Spark

如何從 Spark 的 DataFrame 中取出具體某一行？

Spark 中 DataFrame 是 RDD 的擴展，限于其分布式與彈性內(nèi)存特性，我們沒法直接進行類似 df.iloc(r, c) 的操作來取出其某一行。

2021-07-19 07:58:02

Spark DataFrame 分布式

Spark Streaming精進之前必須了解的基本概念

Spark是一個快速的，多用途的計算系統(tǒng)。這是來自官網(wǎng)的自我介紹。一般敢自稱系統(tǒng)的都是有兩把刷子的，況且還是多用途的計算系統(tǒng)。Spark計算系統(tǒng)包含如下功能組件。

2021-07-09 10:27:12

Spark Streaming 系統(tǒng)

在Spark中，什么叫內(nèi)存計算?

由于計算的融合只發(fā)生在 Stages 內(nèi)部，而 Shuffle 是切割 Stages 的邊界，因此一旦發(fā)生 Shuffle，內(nèi)存計算的代碼融合就會中斷。

2021-06-15 07:04:59

內(nèi)存 Spark Stages

阿里大數(shù)據(jù)云原生化實踐，EMR Spark on ACK 產(chǎn)品介紹

2021-06-08 09:45:46

大數(shù)據(jù)云原生 EMR Spark o

SQL、Pandas和Spark：如何實現(xiàn)數(shù)據(jù)透視表？

今天本文就圍繞數(shù)據(jù)透視表，介紹一下其在SQL、Pandas和Spark中的基本操作與使用，這也是沿承這一系列的文章之一。

2021-06-08 09:18:54

SQL Pandas 數(shù)據(jù)透視表

通過擴展 Spark SQL ，打造自己的大數(shù)據(jù)分析引擎

Spark SQL 的 Catalyst ，這部分真的很有意思，值得去仔細研究一番，今天先來說說Spark的一些擴展機制吧，上一次寫Spark，對其SQL的解析進行了一定的魔改，今天我們按套路來，使用磚廠為我們提供的機制，來擴展Spark...

2021-06-06 19:03:25

SQL 大數(shù)據(jù)Spark

SparkStreaming項目實戰(zhàn)，實時計算Pv和Uv

日志數(shù)據(jù)從flume采集過來，落到hdfs供其它離線業(yè)務(wù)使用，也會sink到kafka，sparkStreaming從kafka拉數(shù)據(jù)過來，計算pv,uv，uv是用的redis的set集合去重，最后把結(jié)果寫入mysql數(shù)據(jù)庫，供前端展示使用。

2021-06-03 08:10:30

SparkStream 項目 Uv

擴展 Spark SQL 解析，你知道嗎?

大家好久不見了，最近生活發(fā)生了很多變故，同時我也大病了一場，希望一切都盡快好起來吧。今天跟大家分享下Spark吧，談?wù)勅绾涡薷腟park SQL解析，讓其更符合你的業(yè)務(wù)邏輯。好，我們開始吧...

2021-04-20 23:16:06

Spark SQL 語法

SQL、Pandas和Spark：這個庫，實現(xiàn)了三大數(shù)據(jù)分析工具的大一統(tǒng)

由于Spark是基于Scala語言實現(xiàn)的大數(shù)據(jù)組件，而Scala語言又是運行在JVM虛擬機上的，所以Spark自然依賴JDK，截止目前為止JDK8依然可用，而且?guī)缀跏前惭b各大數(shù)據(jù)組件時的首選。所以搭建pyspark環(huán)境首先需要安裝JDK8，而后這里介紹兩種方式搭建pyspark運行環(huán)境。

2021-04-18 22:18:39

SQL 數(shù)據(jù)分析工具

Hive 和 Spark的愛恨情仇恩怨交織

spark是一個通用的處理大規(guī)模數(shù)據(jù)的分析引擎，即 spark 是一個計算引擎，而不是存儲引擎，其本身并不負責數(shù)據(jù)存儲。

2021-04-12 06:08:16

Hive Spark 大數(shù)據(jù)

SQL、Pandas和Spark：常用數(shù)據(jù)查詢操作對比

當今信息時代，數(shù)據(jù)堪稱是最寶貴的資源。沿承系列文章，本文對SQL、Pandas和Spark這3個常用的數(shù)據(jù)處理工具進行對比，主要圍繞數(shù)據(jù)查詢的主要操作展開。

2021-04-09 23:00:12

SQL 數(shù)據(jù)庫 Pandas

上萬字詳解Spark Core

Spark 產(chǎn)生之前，已經(jīng)有MapReduce這類非常成熟的計算系統(tǒng)存在了，并提供了高層次的API(map/reduce)，把計算運行在集群中并提供容錯能力，從而實現(xiàn)分布式計算。

2021-03-16 08:21:29

Spark 系統(tǒng)并行

大數(shù)據(jù)開發(fā)：Spark入門詳解

眾所周知，Spark 它是專門為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用計算引擎，因此Spark它在數(shù)據(jù)的挖掘等領(lǐng)域便有著非常廣泛的應(yīng)用，而從現(xiàn)階段來講的話它也已經(jīng)形成了一個高速發(fā)展并且應(yīng)用相當廣泛的生態(tài)系統(tǒng)了。所以，今天這篇文章便要為大家做一個Spark入門基礎(chǔ)的簡單介紹，滿滿干貨，請不要錯過。

2021-03-15 14:02:21

大數(shù)據(jù)數(shù)據(jù)開發(fā)Spark

Spark性能調(diào)優(yōu)-RDD算子調(diào)優(yōu)篇

Java的序列化機制使用方便，不需要額外的配置，在算子中使用的變量實現(xiàn)Serializable接口即可，但是，Java序列化機制的效率不高，序列化速度慢并且序列化后的數(shù)據(jù)所占用的空間依然較大。

2021-03-04 08:39:21

Spark RDD 調(diào)優(yōu)

Kubernetes上的Spark變得輕松

如果您正在尋找關(guān)于Kubernetes上的Spark的高級介紹，請簽出在Kubernetes上運行Spark的優(yōu)缺點，如果您正在尋找更深的技術(shù)潛水，那么閱讀我們的指南設(shè)置，管理和監(jiān)控Spark在kubernetes上。

2021-02-19 09:20:04

Kubernetes Spark 云帳戶

Check Point Quantum Spark 安全網(wǎng)關(guān)助力中小型企業(yè)抵御高級網(wǎng)絡(luò)威脅

Quantum Spark 網(wǎng)關(guān)不僅可以為用戶提供千兆以太網(wǎng)、WiFi 和集成式 LTE 蜂窩調(diào)制解調(diào)器等廣泛的連接選項，而且還支持多個互聯(lián)網(wǎng)服務(wù)提供商和基于性能的路由，從而為應(yīng)用提供非凡的帶寬和服務(wù)質(zhì)量。

2021-02-04 11:10:02

比Pandas 更好的替代？PySpark,Julia等對比

表格是存儲數(shù)據(jù)的最典型方式，在Python環(huán)境中沒有比Pandas更好的工具來操作數(shù)據(jù)表了。盡管Pandas具有廣泛的能力，但它還是有局限性的。比如，如果數(shù)據(jù)集超過了內(nèi)存的大小，就必須選擇一種替代方法。

2021-01-28 12:08:17

數(shù)據(jù)工具技術(shù)

鴻蒙HiSpark IPC DIY攝像頭開發(fā)套件開箱報告

文章由鴻蒙社區(qū)產(chǎn)出，想要了解更多內(nèi)容請前往：51CTO和華為官方戰(zhàn)略合作共建的鴻蒙技術(shù)社區(qū)https://harmonyos.51cto.com/#zz

2021-01-26 14:27:21

鴻蒙 HarmonyOS 應(yīng)用

數(shù)據(jù)分析工具篇——Spark計算原理

Hadoop的MR結(jié)構(gòu)和YARN結(jié)構(gòu)是大數(shù)據(jù)時代的第一代產(chǎn)品，滿足了大家在離線計算上的需求，但是針對實時運算卻存在不足，為滿足這一需求，后來的大佬研發(fā)了spark計算方法，大大的提高了運算效率。

2021-01-25 20:20:35

數(shù)據(jù)分析 Spark Hadoop

圖文理解 Spark 3.0 的動態(tài)分區(qū)裁剪優(yōu)化

Spark 3.0 為我們帶來了許多令人期待的特性。動態(tài)分區(qū)裁剪(dynamic partition pruning)就是其中之一。本文將通過圖文的形式來帶大家理解什么是動態(tài)分區(qū)裁剪。

2021-01-08 05:22:47

Spark 動態(tài)優(yōu)化

大數(shù)據(jù)基礎(chǔ)：Spark工作原理及基礎(chǔ)概念

Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎,能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的MapReduce的算法,可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序.讓我們詳細的了解Spark吧！

2020-12-04 14:31:45

大數(shù)據(jù)Spark

【鴻蒙HarmonyOS HiSpark IPC DIY Camera】hi3518-wifi的配置與使用

2020-11-20 13:53:40

hi3518

Spark刷爆磁盤與Java弱引用的關(guān)系

今天，給大家分享下。Java的引用在大數(shù)據(jù)框架下的引用案例。

2020-11-11 08:55:32

Spark Java 磁盤

【鴻蒙開發(fā)板試用報告】HiSpark Wi-Fi IoT智能家居套件之云服務(wù)器篇

由于samba工具服務(wù)端口445繼勒索病毒“永恒之藍”被封，與WINDOWS遠程共享文件受阻，但又想利用云服務(wù)器資源進行代碼編譯，經(jīng)測試本方法穩(wěn)定高效。

2020-11-04 13:20:14

HiSpark

鴻蒙HiSpark Wi-Fi IoT開發(fā)套件試用02（開發(fā)環(huán)境）

文章由鴻蒙社區(qū)產(chǎn)出，想要了解更多內(nèi)容請前往：51CTO和華為官方戰(zhàn)略合作共建的鴻蒙技術(shù)社區(qū)https://harmonyos.51cto.com/#zz

2020-10-30 17:57:11

鴻蒙HiSpark

【開發(fā)板試用報告】開始試玩HiSpark Wi-Fi IoT開發(fā)套件

試用報告，雖遲但到。陳放了一周多的套件，本人今天終于擠空出來，開始研究~

2020-10-23 09:50:15

HiSpark Wi-開發(fā)套件

【開發(fā)板試用報告】HiSpark Wi-FiIoT智能家居套件開箱試用報告

今天終于收到了開發(fā)板，就是咱們大名鼎鼎的HiSpark Wi-Fi IoT智能家居套件，心里那個開心啊，感謝51CTO組織這么棒的活動。激動的心顫抖的手，小心翼翼開箱，盒子簡潔又高端，滿滿的設(shè)計感。

2020-10-21 10:01:47

HiSpark Wi-智能家居套件

1 2 3 4 5 6 ··· 8 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Spark