成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

<button id="omagw"><menu id="omagw"></menu></button><abbr id="omagw"></abbr>

<bdo id="omagw"><object id="omagw"></object></bdo>

鴻蒙開發者社區

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考信創認證華為認證廠商認證 IT技術 PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發者社區

51CTO技術棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發者社區訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業版APP

鴻蒙開發者社區視頻號

51CTO軟考題庫

賬號設置退出

Spark

353內容??

關注

涵蓋Spark相關研究熱點、技術難點與應用場景，讓用戶更加了解這一為大規模數據處理而設計的快速通用的計算引擎。

共 353 條

什么是Apache Spark？數據分析平臺如是說

Spark 可以用多種方式部署，它為 Java、Scala、Python，和 R 編程語言提供了本地綁定，并且支持 SQL、流數據、機器學習，和圖處理。你將會發現它被銀行、電信公司、游戲公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨頭公司使用。

2017-11-29 12:45:37

Apache Spar 大數據數據分析

大數據架構師必看：常見的七種Hadoop和Spark項目案例

如果你的Hadoop項目將有新的突破，那么它必定與下邊介紹的七種常見項目很相像。有一句古老的格言是這樣說的，如果你向某人提供你的全部支持和金融支持去做一些不同的和創新的事情，他們最終卻會做別人正在做的事情。

2017-11-27 14:12:34

大數據 Hadoop 數據分析

深度解析：Spark優于Hadoop嗎？

對于任何一個進入大數據世界的人來講，大數據和Hadoop 就成了同義詞。隨著人們學習了大數據生態系統及其工具和運作原理，他們更能理解大數據的實際意義以及Hadoop 在生態系統中所扮演的角色。

2017-11-13 13:39:24

Spark Hadoop 大數據

微軟開源用于Spark的深度學習庫MMLSpark

微軟開源了MMLSpark，用于Apache Spark的的深度學習庫。MMLSpark可以與微軟認知工具包和OpenCV完美整合。雖然SparkML可以建立可擴展的機器學習平臺，絕大多數開發者的精力都耗在了調用底層API上。MMLSpark旨在簡化PySpark中的重復性工作。

2017-10-26 13:54:49

深度學習 Spark MMLSpark

Spark 1.6升級2.x防踩坑指南

Spark 2.x自2.0.0發布到目前的2.2.0已經有一年多的時間了，2.x宣稱有諸多的性能改進，相信不少使用Spark的同學還停留在1.6.x或者更低的版本上，沒有升級到2.x或許是由于1.6相對而言很穩定，或許是升級后處處踩坑被迫放棄。

2017-10-24 13:02:29

Spark 2.x 代碼 Spark 2.0

手把手教你Spark性能調優

日前接到反饋，集群部分 spark 任務執行很慢，且經常出錯，參數改來改去怎么都無法優化其性能和解決頻繁隨機報錯的問題。

2017-10-20 13:41:11

Spark 集群代碼

大數據前景分析：Hadoop將被Spark替代？

談到大數據，相信大家對hadoop和Apache Spark這兩個名字并不陌生。然而，最近業界有一些人正在大張旗鼓的宣揚Hadoop將死，Spark將立。與Hadoop相比，Spark技術如何?現工業界大數據技術都在使用何種技術?

2017-10-19 08:28:15

大數據 Hadoop Spark

談談Spark與Spark-Streaming關系

spark程序是使用一個spark應用實例一次性對一批歷史數據進行處理，spark streaming是將持續不斷輸入的數據流轉換成多個batch分片，使用一批spark應用實例進行處理，側重點在Steaming上面。

2017-10-13 10:36:33

Spark Spark-Strea 關系

合并Spark社區代碼的正確姿勢

最近剛剛忙完Spark 2.2.0的性能測試及Bug修復，社區又要發布2.1.2了，國慶期間剛好有空，過了一遍2.1.2的相關JIRA，發現有不少重要修復2.2.0也能用上，接下來需要將有用的PR合到我們內部維護的2.2.0分支上了。

2017-10-12 11:30:34

Spark 代碼 PR

Spark Graphx 實現圖中極大團挖掘, 偽并行化算法

對于關聯性較強的圖,找出來的連通圖非常大,這時串行化的極大團算法,仍然會耗時很久,這里利用剪枝的思想減少樣本數據量,但是對于大圖,優化空間有限。

2017-10-12 11:14:21

Spark Graph 挖掘偽并行化

大數據分析技術與實戰之Spark Streaming

Spark是基于內存的大數據綜合處理引擎，具有優秀的作業調度機制和快速的分布式計算能力，使其能夠更加高效地進行迭代計算，因此Spark能夠在一定程度上實現大數據的流式處理。

2017-10-11 11:10:02

Spark Strea 大數據流式處理

Apache Spark常見的三大誤解

最近幾年關于Apache Spark框架的聲音是越來越多，大家通過Google搜索更多關于Spark的信息。然而很多人對Apache Spark的認識存在誤解，在這篇文章中，將介紹我們對Apache Spark的幾個主要的誤解，以便給那些想將Apache Spark應用到其系統中的人作為參考。

2017-10-10 17:00:11

Spark Hadoop 數據處理

分布式數據集SparkRDD的依賴與緩存

RDD(Resilient Distributed Dataset)叫做分布式數據集，是Spark中最基本的數據抽象，它代表一個不可變、可分區、里面的元素可并行計算的集合。

2017-09-27 10:53:53

分布式數據集 SparkRDD

如何基于Spark Streaming構建實時計算平臺

隨著互聯網技術的迅速發展，用戶對于數據處理的時效性、準確性與穩定性要求越來越高，如何構建一個穩定易用并提供齊備的監控與預警功能的實時計算平臺也成了很多公司一個很大的挑戰。

2017-09-26 09:35:22

數據處理計算平臺 Spark Strea

從源碼角度看Spark on yarn client & cluster模式的本質區別

對于yarn-client和yarn-cluster的唯一區別在于，yarn-client的Driver運行在本地，而AppMaster運行在yarn的一個節點上，他們之間進行遠程通信，AppMaster只負責資源申請和釋放(當然還有DelegationToken的刷新)，然后等待Driver的完成;而yarn-cluster的Driver則運行在AppMaster所在的container里，Driver和AppMaster是同一個進程的兩個不同線程，它們之間也會進行通信，AppMaster同樣等待Driver的完成，從而釋放資源。

2017-09-25 16:21:30

Spark on ya cluster 模式

超實用的Spark數據傾斜解決姿勢，學起來！

本文將結合實例詳細闡明Spark數據傾斜(Data Skew)的幾種場景及對應的解決方案，包括避免數據源傾斜、調整并行度、使用自定義Partitioner、使用Map側Join代替Reduce側Join、給傾斜Key加上隨機前綴等。

2017-08-28 13:08:22

Spark 數據傾斜

分布式機器學習平臺大比拼：Spark、PMLS、TensorFlow、MXNet

本論文從分布式系統的角度開展針對當前一些機器學習平臺的研究，綜述了這些平臺所使用的架構設計，對這些平臺在通信和控制上的瓶頸、容錯性和開發難度進行分析和對比，并對分布式機器學習平臺的未來研究工作提出了一些建議。

2017-08-22 17:55:35

機器學習 Spark TensorFlow

Spark入門：Spark Streaming 概覽

Spark Streaming是Spark API的一個可橫向擴容，高吞吐量，容錯的實時數據流處理引擎，Spark能夠從Kafka、Flume、Kinesis或者TCP等等輸入獲取數據，然后能夠使用復雜的計算表達式如map,reduce,join和window對數據進行計算。

2017-08-14 10:30:13

Spark Spark Strea 擴容

用 Apache Spark 和 TensorFlow 進行深度學習

神經網絡在過去幾年中取得了驚人的進步，現在已成為圖像識別和自動翻譯領域最先進的技術。TensorFlow是 Google 為數字計算和神經網絡發布的新框架。在這篇博文中，我們將演示如何使用 TensorFlow 和 Spark 一起來訓練和應用深度學習模型。

2017-08-10 15:31:57

Apache Spar TensorFlow

橫向對比三大分布式機器學習平臺：Spark、PMLS、TensorFlow

分布式機器學習是機器學習領域的一大主要研究方向，我們對分布式機器學習平臺的三大基本設計方法進行了簡要介紹并舉例進行了說明。

2017-08-07 11:02:28

機器學習分布式 Spark

TiSpark (Beta) 用戶指南

TiSpark 是 PingCAP 推出的為了解決用戶復雜 OLAP 需求的產品。本文簡單介紹如何部署和使用 TiSpark。本文假設你對 Spark 有基本認知。

2017-08-05 16:31:51

TiDB TiSpark 數據庫

Spark學習之RDD簡單算子

Spark學習之RDD簡單算子希望給大家帶來一些幫助。

2017-08-04 10:58:55

RDD Spark 算子

SparkStreaming與Kafka整合遇到的問題及解決方案

最近工作中是做日志分析的平臺，采用了sparkstreaming+kafka，采用kafka主要是看中了它對大數據量處理的高性能，處理日志類應用再好不過了，采用了sparkstreaming的流處理框架主要是考慮到它本身是基于spark核心的，以后的批處理可以一站式服務，并且可以提供準實時服務到elasticsearch中，可以實現準實時定位系統日志。

2017-08-03 09:37:35

SparkStream Kafka Direct

思科 Cisco Spark Room Kit在大中華區成功落地思科協作助力雅清達攜手3W COFFICE打造高效協作共享空間

思科協作Cisco Spark Room Kit系列新產品自2017年6月份在大中華區推出以來，憑借領先的技術優勢，在市場上引起了強烈反響。近日，思科合作伙伴廣州雅清達智能系統有限公司(以下簡稱雅清達)宣布將為3W集團旗下的3W COFFICE(共享辦公空間)提供思科最新視頻協作解決方案，這也標志著思科Cisco Spark Room Kit在大中華區成功落地。

2017-07-28 13:14:45

如何選擇Spark機器學習API

本文將簡要介紹Spark機器學習庫(Spark MLlib’s APIs)的各種機器學習算法，主要包括：統計算法、分類算法、聚類算法和協同過濾算法，以及各種算法的應用。

2017-07-26 17:25:22

機器學習 Spark API

10 億級海量數據運算下，Apache Spark 的四個技術應用實踐原創

本文主要介紹 Apache Spark 如何實現蘇寧中臺商品價格信息的 TB 級別復雜業務數據處理運算，以及其中碰到的問題和解決方案。

2017-07-11 09:59:22

Apache Spar 技術數據

Spark UDF變長參數的二三事兒

在復雜業務邏輯中，我們經常會用到Spark的UDF，當一個UDF需要傳入多列的內容并進行處理時，UDF的傳參該怎么做呢? 下面通過變長參數引出，逐一介紹三種可行方法以及一些不可行的嘗試...

2017-07-10 08:30:11

Spark UDF 變長參數

手把手教你 Spark 性能調優

集群部分 spark 任務執行很慢，且經常出錯，參數改來改去怎么都無法優化其性能和解決頻繁隨機報錯的問題。

2017-07-07 11:01:04

Spark 性能調優

基于Spark的大規模機器學習在微博的應用

一直以來，微博都嘗試通過機器學習來解決業務場景中遇到的各種挑戰。本文為新浪微博吳磊在CCTC 2017云計算大會Spark峰會所做分享《基于Spark的大規模機器學習在微博的應用》主題的一部分，介紹微博在面對大規模機器學習的挑戰時，采取的最佳實踐和解決方案。

2017-06-27 15:35:02

機器學習 Spark 微博應用

Spark Streaming vs. Kafka Stream 哪個更適合你

本文介紹了兩大常用的流式處理框架，Spark Streaming和Kafka Stream，并對他們各自的特點做了詳細說明，以幫助讀者在不同的場景下對框架進行選擇。

2017-06-27 15:08:05

大數據 Apache Spar Kafka Strea

實用 | 從Apache Kafka到Apache Spark安全讀取數據

隨著在CDH平臺上物聯網(IoT)使用案例的不斷增加，針對這些工作負載的安全性顯得至關重要。本篇博文對如何以安全的方式在Spark中使用來自Kafka的數據，以及針對物聯網(IoT)使用案例的兩個關鍵組件進行了說明。

2017-06-26 15:00:17

大數據 Apache Kafk Apache Spar

學習Spark——那些讓你精疲力盡的坑

這篇就介紹下自己遇到的各種坑。我不知道各位是否遇到過并能輕松解決，反正我是被這些小問題搞得精疲力盡，故在此總結以備忘。

2017-06-21 08:39:20

Spark Scala HDFS

Spark Submit的ClassPath問題

我們的產品需要與客戶的權限系統對接，即在登錄時使用客戶的認證系統進行認證。集成認證的方式是調用客戶提供的jar包，調用userService的authenticate方法。同時，還需要在classpath中提供密鑰的key文件。

2017-06-12 13:30:56

集成認證集群 ClassPath

Spark Shuffle過程分析：Map階段處理流程

默認配置情況下，Spark在Shuffle過程中會使用SortShuffleManager來管理Shuffle過程中需要的基本組件，以及對RDD各個Partition數據的計算。我們可以在Driver和Executor對應的SparkEnv對象創建過程中看到對應的配置。

2017-06-07 12:25:37

Shuffle 代碼 Map階段處理

Spark Streaming場景應用- Spark Streaming計算模型及監控

本篇文章主要介紹了Spark Streaming在實際應用場景中的兩種計算模型，包括無狀態模型以及狀態模型;并且重點關注了下Spark Streaming在監控方面所作的努力。

2017-06-06 08:31:10

Spark Strea 計算模型監控

高科技也能“玩時尚”，思科協作重磅推出全新 Spark Room Kit 系列!

誰說高科技一定枯燥呆板，思科協作推出全新 Spark Room Kit 系列，真正的一體化設備，顏值與才華一應俱全!

2017-05-22 15:18:30

思科 Spark Room

Spark踩坑記：共享變量

使用spark過程當中踩過的一些坑和經驗。我們知道Spark是多機器集群部署的，分為Driver/Master/Worker，Master負責資源調度，Worker是不同的運算節點，由Master統一調度。

2017-05-05 08:12:51

Spark 共享變量

Spark中的核心概念RDD，我們了解多少？

RDD全稱叫做彈性分布式數據集(Resilient Distributed Datasets)，它是一種分布式的內存抽象，表示一個只讀的記錄分區的集合，它只能通過其他RDD轉換而創建，為此RDD支持豐富的轉換操作。通過這種轉換操作，新的RDD則包含了如何從其他RDDs衍生所必需的信息，所以說RDDs之間是有依賴關系的。

2017-04-25 09:50:16

Spark RDD 核心

大數據系列之并行計算引擎Spark介紹

Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優點;但不同于MapReduce的是Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。

2017-04-24 12:07:44

Spark 大數據并行計算

Spark源碼分析之分區器的作用

首先對spark有一定了解的都應該知道，在spark中每個RDD可以理解為一組分區，這些分區對應了內存塊block,他們才是數據最終的載體。那么一個RDD由不同的分區組成，這樣在處理一些map,filter等算子的時候，就可以直接以分區為單位并行計算了。直到遇到shuffle的時候才需要和其他的RDD配合。

2017-04-24 09:20:05

Spark 分析分區器

Spark：超越Hadoop MapReduce

和 Hadoop 一樣，Spark 提供了一個 Map/Reduce API(分布式計算)和分布式存儲。二者主要的不同點是，Spark 在集群的內存中保存數據，而 Hadoop 在集群的磁盤中存儲數據。

2017-04-19 11:17:48

Spark Hadoop MapReduce

借hbase-rdd二次開發談如何在Spark Core之上擴建自己的模塊

我是51CTO學院講師張敏，在51CTO學院 “4.20 IT充電節”(4月19~20日) 到來之際，和大家分享一下Spark Core之上擴建自己的模塊的經驗。

2017-04-14 09:03:00

RDD 模塊 Hbase

Spark for python developers —Spark與數據的機器學習

機器學習可以從數據中得到有用的見解. 目標是縱觀Spark MLlib，采用合適的算法從數據集中生成見解。對于 Twitter的數據集, 采用非監督集群算法來區分與Apache Spark相關的tweets。初始輸入是混合在一起的tweets。首先提取相關特性, 然后在數據集中使用機器學習算法, 最后評估結果和性能。

2017-04-13 13:30:56

Spark Spark MLlib 機器學習

Spark名詞解釋及關系

隨著對spark的業務更深入，對spark的了解也越多，然而目前還處于知道的越多，不知道的更多階段，當然這也是成長最快的階段。這篇文章用作總結最近收集及理解的spark相關概念及其關系。

2017-04-13 09:10:06

Spark 解釋關系

Hive、MapReduce、Spark分布式生成唯一數值型ID

Spark中生成這樣的非連續唯一數值型ID，非常簡單，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

Hive MapReduce Spark

有望取代Spark的實時機器學習框架Ray

一個新的項目旨在為實時處理開發一種速度更快的框架，可用來支持用Python編寫的機器學習應用。

2017-04-08 17:32:39

人工智能喬丹 Ray

Spark程序運行常見錯誤解決方法以及優化

task傾斜原因比較多，網絡io,cpu,mem都有可能造成這個節點上的任務執行緩慢，可以去看該節點的性能監控來分析原因。以前遇到過同事在spark的一臺worker上跑R的任務導致該節點spark task運行緩慢。

2017-04-07 09:02:06

Spark 方法優化

是英雄還是狗熊？大數據那些事之SparkSQL

SparkSQL最主要的東西有兩個，一個是DataFrame全面取代了RDD。我必須為這個叫聲好。作為一個根紅苗正的關系數據庫思想熏陶出來的人，帶有RDD的Spark總給我一種干爹干媽做的數據處理的產品的感覺。用上DataFrame頓時有回到親爹親媽做的產品的感覺。期間的差距，可能是無法言語表達的。

2017-04-06 09:35:10

大數據 SparkSQL Spark

Apache Spark 內存管理詳解

Spark 作為一個基于內存的分布式計算引擎，其內存管理模塊在整個系統中扮演著非常重要的角色。理解 Spark 內存管理的基本原理，有助于更好地開發 Spark 應用程序和進行性能調優。

2017-04-01 14:01:50

Apache Spar 內存管理

pyspark訪問hive數據實戰

直接進行spark開發需要去學習scala，為了降低數據分析師的學習成本，決定前期先試用sparkSQL，能夠讓計算引擎無縫從MR切換到spark，現在主要使用pyspark訪問hive數據。

2017-03-13 09:48:26

pyspark hive 數據

上一頁 1 2 3 4 5 6 ··· 8 下一頁

51CTO技術棧公眾號

業務
速覽

媒體

51CTO CIOAge HC3i

社區

51CTO博客鴻蒙開發者社區 AI.x社區

教育

51CTO學堂精培企業培訓 CTO訓練營

主站蜘蛛池模板： www.日韩| 伊人狠狠操 | 国产精品jizz在线观看老狼 | 性一交一乱一透一a级 | 天天干天天操天天爽 | 欧美一级高清片 | 91视频三区 | 91免费观看| 欧美一区二区网站 | 国产精品久久久久久久久久久新郎 | 亚洲久视频 | 亚洲精品在线视频 | 瑞克和莫蒂第五季在线观看 | 户外露出一区二区三区 | 亚洲精品乱码久久久久久按摩观 | 国产日韩一区二区 | 香蕉大人久久国产成人av | 欧美成年人网站 | 在线成人 | 亚洲一区二区三区视频 | 久久com | 久久亚洲一区二区 | 天天爱天天操 | 亚洲视频免费在线观看 | www.中文字幕.com | 亭亭五月激情 | 久国产视频 | 综合色久 | 97人人澡人人爽91综合色 | 99综合| 国色天香综合网 | 色就干 | 一级a毛片 | 欧美狠狠操 | 免费的av网站 | 日韩有码一区 | 五月婷婷亚洲 | 欧美色专区 | 久久久久午夜 | gogo肉体亚洲高清在线视 | 91国产视频在线 |

<code id="8qomq"><small id="8qomq"></small></code>

<option id="8qomq"><pre id="8qomq"></pre></option>

<sup id="8qomq"><noframes id="8qomq"></noframes></sup>