成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

<cite id="cmisq"></cite>

<dl id="cmisq"><xmp id="cmisq"></xmp></dl>

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓

鴻蒙開發(fā)者社區(qū)

信創(chuàng)認證

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考信創(chuàng)認證華為認證廠商認證 IT技術 PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設置退出

Spark

353內容??

關注

涵蓋Spark相關研究熱點、技術難點與應用場景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎。

共 353 條

大數(shù)據(jù)計算框架Spark之內存模型

Executor 端的內存模型,包括堆內內存(On-heap Memory)和堆外內存(Off-heap Memory)。

2019-06-27 11:18:00

Spark 內存大數(shù)據(jù)

基于Spark的數(shù)據(jù)分析實踐

本文主要分析了 Spark RDD 以及 RDD 作為開發(fā)的不足之處，介紹了 SparkSQL 對已有的常見數(shù)據(jù)系統(tǒng)的操作方法，以及重點介紹了普元在眾多數(shù)據(jù)開發(fā)項目中總結的基于 SparkSQL Flow 開發(fā)框架。

2019-06-19 16:01:14

Spark 數(shù)據(jù)分析 SparkSQL

為啥Spark 的Broadcast要用單例模式

很多用Spark Streaming 的朋友應該使用過broadcast，大多數(shù)情況下廣播變量都是以單例模式聲明的有沒有粉絲想過為什么?

2019-06-11 09:50:07

Spark Broadcast 代碼

一篇文章了解 Spark Shuffle 內存使用

在使用 Spark 進行計算時，我們經(jīng)常會碰到作業(yè) (Job) Out Of Memory(OOM) 的情況，而且很大一部分情況是發(fā)生在 Shuffle 階段。那么在 Spark Shuffle 中具體是哪些地方會使用比較多的內存而有可能導致 OOM 呢?

2019-06-06 15:22:07

Spark Shuffle 內存

Spark 靜態(tài)內存管理詳解

spark從1.6開始引入了動態(tài)內存管理模式，即執(zhí)行內存和存儲內存之間可以互相搶占。sspark提供兩種內存分配模式：靜態(tài)內存管理和動態(tài)內存管理。

2019-05-30 11:04:52

內存 Spark 管理

美團是如何應用Spark處理大數(shù)據(jù)的？

美團最初的數(shù)據(jù)處理以Hive SQL為主，底層計算引擎為MapReduce，部分相對復雜的業(yè)務會由工程師編寫MapReduce程序實現(xiàn)。

2019-05-29 10:42:06

大數(shù)據(jù)IT 人工智能

大數(shù)據(jù)：學Hadoop好還是Spark好？

相信看這篇文章的你們，都和我一樣對Hadoop和Apache Spark的選擇有一定的疑惑，今天查了不少資料，我們就來談談這兩種平臺的比較與選擇吧，看看對于工作和發(fā)展，到底哪個更好。

2019-04-24 13:07:16

Hadoop Spark 分布式架構

大數(shù)據(jù)開發(fā)：剖析Hadoop和Spark的Shuffle過程差異

本文旨在剖析Hadoop和Spark的Shuffle過程，并對比兩者Shuffle的差異。Shuffle描述的是數(shù)據(jù)從Map端到Reduce端的過程，大致分為排序(sort)、溢寫(spill)、合并(merge)、拉取拷貝(Copy)、合并排序(merge sort)這幾個過程。

2019-04-22 15:24:24

Hadoop Suffle Map端

一篇文章看懂 Spark RDD

Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎。它產生于 UC Berkeley AMP Lab，繼承了 MapReduce 的優(yōu)點，但是不同于 MapReduce 的是，Spark 可以將結果保存在內存中，一直迭代計算下去，除非遇到 shuffle 。

2019-04-17 15:16:00

Spark shuffle 算法

從源碼解密Spark內存管理

我們都知道spark之所以比mapreduce計算的快，是因為他是基于內存的，不用每次計算完都寫磁盤，再讀取出來進行下一次計算，spark直接把內存作為數(shù)據(jù)的臨時儲存介質。所以mapreduce就沒有強調內存管理，而spark需要管理內存。

2019-04-17 14:44:42

Spark 內存源碼

大數(shù)據(jù)計算框架Spark之任務調度

Spark有幾種資源調度設施。每個Spark Application(SparkContext實例)獨立地運行在一組executor進程內。cluster manager為應用間的調度提供設施。在每個Spark應用內，如果將多個job(多個spark action)提交給不同的線程，那么他們會并行運行

2019-04-08 17:11:46

大數(shù)據(jù)框架 Spark

大數(shù)據(jù)的技術生態(tài)？Hadoop、Hive、Spark之間是什么關系？

大數(shù)據(jù)本身是個很寬泛的概念，Hadoop生態(tài)圈(或者泛生態(tài)圈)基本上都是為了處理超過單機尺度的數(shù)據(jù)處理而誕生的。你可以把它比作一個廚房所以需要的各種工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。

2019-03-12 11:12:50

大數(shù)據(jù)Hadoop Spark

Spark 靜態(tài)內存管理詳解

spark從1.6開始引入了動態(tài)內存管理模式，即執(zhí)行內存和存儲內存之間可以互相搶占。spark提供兩種內存分配模式：靜態(tài)內存管理和動態(tài)內存管理。

2018-12-18 14:37:26

Spark 內存管理

用Spark 來做大規(guī)模圖形挖掘：第一部分

對于數(shù)據(jù)科學家，圖形是一個非常令人著迷的研究課題，標記數(shù)據(jù)的方法在處理機器學習問題并不總是有效。圖形在無監(jiān)督上下文中非常強大，因為它們通過利用數(shù)據(jù)的基礎子結構來充分利用您擁有的數(shù)據(jù)。

2018-11-15 14:52:15

Spark 數(shù)據(jù)機器學習

Apache Kafka與Spark Streaming的兩種整合方法及其優(yōu)缺點譯文

我們在將Apache Kafka與Spark Streaming整合的實戰(zhàn)過程中，一般可以選用兩種方面來配置Spark Streaming，并接收來自Kafka的數(shù)據(jù)。第一種是利用接收器和Kafka的高級API;而第二種新的方法則并不使用接收器。這兩種方法在性能特征和語義保持上，有著不同的編程模式。

2018-10-24 09:00:26

Kafka Spark 數(shù)據(jù)

Adaptive Execution 讓 Spark SQL 更智能更高效

本文介紹的 Adaptive Execution 將可以根據(jù)執(zhí)行過程中的中間數(shù)據(jù)優(yōu)化后續(xù)執(zhí)行，從而提高整體執(zhí)行效率。核心在于兩點,執(zhí)行計劃可動態(tài)調整、調整的依據(jù)是中間結果的精確統(tǒng)計信息。

2018-10-23 15:20:29

Spark Shuffle Spark SQL

比拼生態(tài)和未來，Spark和Flink哪家強？

Spark 和 Flink 都是通用的開源大規(guī)模處理引擎，目標是在一個系統(tǒng)中支持所有的數(shù)據(jù)處理以帶來效能的提升。兩者都有相對比較成熟的生態(tài)系統(tǒng)。是下一代大數(shù)據(jù)引擎最有力的競爭者。

2018-10-15 15:12:12

Spakr Flink 大數(shù)據(jù)

大數(shù)據(jù)干貨 | 論Spark高手是怎樣煉成的

大數(shù)據(jù)的處理怎么能變快一點，答案是請用spark，因為它是基于內存的，可以有效減少數(shù)據(jù)的落地次數(shù)。Spark性能超過Hadoop百倍，從多迭代批量處理出發(fā)，兼收并蓄數(shù)據(jù)倉庫、流處理和圖計算等多種計算范式，是罕見的全能選手。

2018-10-12 14:26:04

Spark Spark框架 Scala

Spark灰度發(fā)布在十萬級節(jié)點上的實踐

本文介紹了頂級互聯(lián)網(wǎng)公司數(shù)萬節(jié)點下 Spark 的 CI 與 CD & CD 灰度發(fā)布實踐。包含如何維護源代碼，如何維護 Release 多版本，開發(fā)版與正式版，以及如何實現(xiàn)灰度發(fā)布，如何進行 hotfix 等。為了提高本文內容的可借鑒性，隱去了公司特有內容，只保留通用部分。

2018-10-09 14:31:32

Spark CI 灰度

高性能Spark作業(yè)基礎：你必須知道的調優(yōu)原則及建議

筆者根據(jù)之前的Spark作業(yè)開發(fā)經(jīng)驗以及實踐積累，總結出了一套Spark作業(yè)的性能優(yōu)化方案。本文作為Spark性能優(yōu)化指南的基礎篇，主要講解開發(fā)調優(yōu)以及資源調優(yōu)。

2018-08-24 07:17:41

Spark 大數(shù)據(jù)調優(yōu)

Apache Spark 統(tǒng)一內存管理模型詳解

本文將對 Spark 的內存管理模型進行分析，下面的分析全部是基于 Apache Spark 2.2.1 進行的。為了讓下面的文章看起來不枯燥，我不打算貼出代碼層面的東西。文章僅對統(tǒng)一內存管理模塊(UnifiedMemoryManager)進行分析。

2018-08-09 11:06:39

Apache Spar 內存模型

對Spark的那些【魔改】

這兩年做 streamingpro 時，不可避免的需要對Spark做大量的增強。就如同我之前吐槽的，Spark大量使用了new進行對象的創(chuàng)建，導致里面的實現(xiàn)基本沒有辦法進行替換。

2018-08-06 12:10:57

Spark RPC Server 代碼

大數(shù)據(jù)處理引擎Spark與Flink大比拼

正在Spark如日中天高速發(fā)展的時候，2016年左右Flink開始進入大眾的視野并逐漸廣為人知。為什么呢?原來在人們開始使用Spark之后，發(fā)現(xiàn)Spark雖然支持各種常見場景，但并不是每一種都同樣好用。而Flink憑借更優(yōu)的流處理引擎，同時也支持各種處理場景，成為Spark的有力挑戰(zhàn)者。

2018-07-25 15:31:51

Spark Flink 大數(shù)據(jù)

Spark性能優(yōu)化：開發(fā)調優(yōu)篇

在大數(shù)據(jù)計算領域，Spark已經(jīng)成為了越來越流行、越來越受歡迎的計算平臺之一。本文作為Spark性能優(yōu)化指南的基礎篇，主要講解開發(fā)調優(yōu)以及資源調優(yōu)。

2018-07-18 12:12:20

Spark 大數(shù)據(jù)代碼

機器學習實踐：如何將Spark與Python結合？

Apache Spark是處理和使用大數(shù)據(jù)最廣泛的框架之一，Python是數(shù)據(jù)分析、機器學習等領域最廣泛使用的編程語言之一。如果想要獲得更棒的機器學習能力，為什么不將Spark和Python一起使用呢?

2018-06-23 13:55:15

Apache Spar Python 數(shù)據(jù)

還不收藏？Spark動態(tài)內存管理源碼解析！

Spark有兩種內存管理模式，靜態(tài)內存管理(Static MemoryManager)和動態(tài)（統(tǒng)一）內存管理（Unified MemoryManager）。動態(tài)內存管理從Spark1.6開始引入，在SparkEnv.scala中的源碼可以看到，Spark目前默認采用動態(tài)內存管理模式，若將spark.memory.useLegacyMode設置為true，則會改為采用靜態(tài)內存管理。

2018-06-06 08:28:37

Spark 內存管理

深度:Hadoop對Spark五大維度正面比拼報告！

為了增加混淆，Spark和Hadoop經(jīng)常與位于HDFS，Hadoop文件系統(tǒng)中的Spark處理數(shù)據(jù)一起工作。但是，它們都是獨立個體，每一個體都有自己的優(yōu)點和缺點以及特定的商業(yè)案例。本文將從以下幾個角度對Spark和Hadoop進行對比：體系結構，性能，成本，安全性和機器學習。

2018-06-04 11:28:49

Hadoop Spark 數(shù)據(jù)

如何在萬億級別規(guī)模的數(shù)據(jù)量上使用 Spark？

Spark 作為大數(shù)據(jù)計算引擎，憑借其快速、穩(wěn)定、簡易等特點，快速的占領了大數(shù)據(jù)計算的領域。本文主要為作者在搭建使用計算平臺的過程中，對于 Spark 的理解，希望能給讀者一些學習的思路。

2018-06-01 09:42:43

數(shù)據(jù)Spark 規(guī)模

一文理清Apache Spark內存管理脈絡

本文旨在梳理出 Spark 內存管理的脈絡，拋磚引玉，文中闡述的原理基于 Spark 2.1 版本，閱讀本文需要讀者有一定的 Spark 和 Java 基礎，了解 RDD、Shuffle、JVM 等相關概念。

2018-05-31 20:49:50

Spark 堆內內存優(yōu)化機制

Spark調優(yōu)的關鍵—RDD Cache緩存使用詳解

Spark的開發(fā)調優(yōu)有一個原則，即對多次使用的RDD進行持久化。如果要對一個RDD進行持久化，只要對這個RDD調用cache()和persist()即可。

2018-05-28 08:54:45

Spark RDD Cache 緩存

Spark的誤解-不僅Spark是內存計算，Hadoop也是內存計算

市面上有一些初學者的誤解，他們拿Spark和Hadoop比較時就會說，Spark是內存計算，內存計算是Spark的特性。請問在計算機領域，MySQL,Redis,SSH框架等等他們不是內存計算嗎？依據(jù)馮諾依曼體系結構，有什么技術的程序不是在內存中運行，需要數(shù)據(jù)從硬盤中拉取，然后供CPU進行執(zhí)行？

2018-05-10 09:51:39

Spark 內存 Hadoop

spark 自己的分布式存儲系統(tǒng) - BlockManager

BlockManager 是 spark 中至關重要的一個組件，在 spark的的運行過程中到處都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和機制，你才能更加深入的理解 spark。今天我們來揭開 BlockaManager 的底層原理和設計思路，

2018-05-10 09:34:21

spark 存儲系統(tǒng)

從術語到Spark，10篇必讀大數(shù)據(jù)學習資源

本文給想進入大數(shù)據(jù)領域的朋友提供了一系列的資源，由淺入深，比如“需要了解的51條大數(shù)據(jù)術語”、“學習python的四個理由”、“十一個必須要參加的大數(shù)據(jù)會議”等有趣的話題。

2018-05-06 16:59:14

大數(shù)據(jù)python 數(shù)據(jù)可視化

大數(shù)據(jù)有道之spark選擇去重

spark是基于內存運算的大數(shù)據(jù)分布式并行計算框架，本身具有豐富的API，可實現(xiàn)與HDFS、HBase、Hive、Kafka、Elasticsearch、Druid等組件的交互，同時也是優(yōu)秀的MapReduce替代方案。

2018-04-25 08:45:46

大數(shù)據(jù)

Spark streaming中持久保存的RDD/有狀態(tài)的內存

以spark streaming為例，就是希望有個數(shù)據(jù)集能夠在當前批次中更新，再下個批次后又可以繼續(xù)訪問。一個最簡單的實現(xiàn)是在driver的內存中，我們可以自行保存一個大的內存結構。這種hack的方式就是我們無法利用spark提供的分布式計算的能力。

2018-04-18 08:54:28

RDD 內存 Spark

大數(shù)據(jù)之謎Spark基礎篇，核心RDD特征分析講解

RDD(Resilient Distributed Datasets)彈性分布式數(shù)據(jù)集，是分布式內存的一個抽象概念。我們可以抽象的代表對應一個HDFS上的文件，但是他實際上是被分區(qū)的，分為多個分區(qū)撒落在Spark集群中的不同節(jié)點上。

2018-04-17 09:03:01

Spark RDD 大數(shù)據(jù)

Spark及Spark Streaming核心原理及實踐

本文依次從spark生態(tài)，原理，基本概念，spark streaming原理及實踐，還有spark調優(yōu)以及環(huán)境搭建等方面進行介紹，希望對大家有所幫助。

2018-04-09 12:25:11

Spark Spark Strea 大數(shù)據(jù)

思科Spark Room 70搭載全球首款基于AI的會議語音助手，全新登場

思科作為在會議領域中推進人工智能應用的思想領袖和技術先驅，自上世紀90年代至今，在AI發(fā)展的每個階段中，始終以行業(yè)領導者的姿態(tài)推動AI創(chuàng)新與發(fā)展。

2018-03-22 14:44:48

Spark核心技術原理透視一（Spark運行原理）

在大數(shù)據(jù)領域，只有深挖數(shù)據(jù)科學領域，走在學術前沿，才能在底層算法和模型方面走在前面，從而占據(jù)領先地位。Spark的這種學術基因，使得它從一開始就在大數(shù)據(jù)領域建立了一定優(yōu)勢。無論是性能，還是方案的統(tǒng)一性，對比傳統(tǒng)的Hadoop，優(yōu)勢都非常明顯。

2018-03-21 11:05:26

Spark 大數(shù)據(jù)應用程序

Apache Spark 2.3重要特性介紹

為了繼續(xù)實現(xiàn) Spark 更快，更輕松，更智能的目標，Spark 2.3 在許多模塊都做了重要的更新，比如 Structured Streaming 引入了低延遲的連續(xù)處理(continuous processing)等。

2018-03-05 17:29:52

Spark Apache Spar Spark 2.3

Hadoop進入寒冬期，崛起的會是Spark嗎?

年初的調查中，Hadoop被列為2018年大數(shù)據(jù)領域的“漸凍”趨勢之一，Gartner的調查也揭示了Hadoop使用量的下滑，不少人將Hadoop稱作“倒下的大象”，比如Lucidworks首席執(zhí)行官Will Hayes。如果Hadoop開始進入寒冬期，率先崛起的會是呼聲最高的Spark嗎?

2018-03-01 14:56:11

Hadoop Spark 大數(shù)據(jù)

外媒速遞：Hadoop對Spark的正面比拼報告原創(chuàng)

每一年，市場上都持續(xù)出現(xiàn)各類擁有不同數(shù)據(jù)管理規(guī)模、類型與速度表現(xiàn)的分布式系統(tǒng)。在這類方案當中，Hadoop與Spark無疑是最令人矚目的兩款。然而，二者到底孰強孰弱?

2018-03-01 08:39:34

Hadoop Spark 加密貨幣

一個Spark緩存的使用示例

之前一直不是非常理解Spark的緩存應該如何使用. 今天在使用的時候, 為了提高性能, 嘗試使用了一下Cache, 并收到了明顯的效果。關于Cache的一些理論介紹, 網(wǎng)上已經(jīng)很多了. 但是貌似也沒有一個簡單的例子說明。

2018-02-08 18:00:49

Spark 文件測試

Apache Spark中的決策樹

Apache Spark中沒有決策樹的實現(xiàn)可能聽起來很奇怪。然而從技術上來說是有的。在Apache Spark中，您可以找到一個隨機森林算法的實現(xiàn)，該算法實現(xiàn)可以由用戶指定樹的數(shù)量。因此，Apache Spark使用一棵樹來調用隨機森林。

2018-02-02 15:50:07

決策樹 Apache Spar 數(shù)據(jù)

基于Hadoop生態(tài)SparkStreaming的大數(shù)據(jù)實時流處理平臺的搭建

本人準備開始著手改造原系統(tǒng)中的數(shù)據(jù)處理方式，重新搭建一個實時流處理平臺，主要是基于hadoop生態(tài)，利用Kafka作為中轉，SparkStreaming框架實時獲取數(shù)據(jù)并清洗，將結果多維度的存儲進HBase數(shù)據(jù)庫。

2018-01-31 21:26:48

Hadoop SparkStream 大數(shù)據(jù)

平安科技與SparkLabs聯(lián)合發(fā)布全球金融科技加速器

2018-01-24 17:38:26

大數(shù)據(jù)處理為何選擇Spark，而不是Hadoop

Spark是一個用來實現(xiàn)快速而通用的集群計算的平臺。在速度方面，Spark擴展了廣泛使用的MapReduce計算模型，而且高效地支持更多計算模式，包括交互式查詢和流處理。

2018-01-22 08:33:28

Spark Hadoop 計算

Hadoop和Spark之間有什么區(qū)別，現(xiàn)工業(yè)界都在使用何種技術?

談到大數(shù)據(jù)，相信大家對hadoop和Apache Spark這兩個名字并不陌生。然而，最近業(yè)界有一些人正在大張旗鼓的宣揚Hadoop將死，Spark將立。他們究竟是危言聳聽?嘩眾取寵?還是眼光獨到堪破未來呢?與Hadoop相比，Spark技術如何?現(xiàn)工業(yè)界大數(shù)據(jù)技術都在使用何種技術?如果現(xiàn)在想要參加大數(shù)據(jù)培訓的話，應該從哪一種開始呢?

2017-12-27 14:39:07

Hadoop Spark 大數(shù)據(jù)

從源碼看Spark讀取Hive表數(shù)據(jù)小文件和分塊的問題

本文涉及源碼基于Spark2.0.0和Hadoop2.6.0，不同版本代碼可能不一致，需自己對應。此外針對TextInputFormat格式的Hive表，其他格式的比如Parquet有Spark自己的高效實現(xiàn)，不在討論范圍之內

2017-12-21 11:19:40

Spark Hive表 HadoopRDD

如何提高Spark姿勢水平

本文的依據(jù)是我學習整個Spark的學習歷程。在這里，我會從幾個方面來跟大家一起討論。Spark 是什么？Spark 跟 Hadoop 有什么淵源？Spark 有哪些方便的組件？什么場景下用 Spark ，如何使用？以及用什么樣的姿勢來學習 Spark 會比較好？

2017-12-12 16:43:54

Spark Hadoop 水平

上一頁 1 2 3 4 5 6 ··· 8 下一頁

51CTO技術棧公眾號

業(yè)務
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學堂精培企業(yè)培訓 CTO訓練營

主站蜘蛛池模板：国产欧美在线 | 一级毛片在线播放 | 啪一啪在线视频 | 久久久久国产一区二区三区四区 | 亚洲日本欧美日韩高观看 | 成人精品视频免费 | 久久成人一区 | 久久精品国产一区二区电影 | 日本精品一区二区三区在线观看视频 | 久草免费视 | 成人国产精品久久 | 日日草天天干 | 国产三级电影网站 | 久久久免费| 亚洲欧洲成人在线 | 国产高清在线观看 | 成人a视频 | 成人三级在线播放 | 亚洲一区二区在线播放 | 国产综合精品一区二区三区 | 国产欧美日韩在线一区 | 国产福利一区二区 | 麻豆精品一区二区三区在线观看 | 午夜精品一区二区三区在线观看 | 精品视频一区二区三区在线观看 | 婷婷福利视频导航 | 99色综合| 美国av毛片 | 亚洲一区二区三区在线 | 91国在线高清视频 | 欧美网址在线观看 | 91精品国产一二三 | 97精品久久 | 日韩精品一区二区三区中文字幕 | 日韩中文字幕一区二区 | 欧美一二三区 | 国产精品欧美日韩 | 国产在线精品一区 | 91xh98hx 在线国产 | 97avcc| 青青草在线视频免费观看 |

<rt id="iuaks"><pre id="iuaks"></pre></rt>

<rt id="iuaks"><acronym id="iuaks"></acronym></rt>

<rt id="iuaks"><acronym id="iuaks"></acronym></rt>

<li id="iuaks"></li>

<center id="iuaks"><tr id="iuaks"></tr></center>

<center id="iuaks"><acronym id="iuaks"></acronym></center><li id="iuaks"><input id="iuaks"></input></li>