成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

鴻蒙開發者社區

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考信創認證華為認證廠商認證 IT技術 PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發者社區

51CTO技術棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發者社區訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業版APP

鴻蒙開發者社區視頻號

51CTO軟考題庫

賬號設置退出

Spark

353內容??

關注

涵蓋Spark相關研究熱點、技術難點與應用場景，讓用戶更加了解這一為大規模數據處理而設計的快速通用的計算引擎。

共 353 條

大火的Apache Spark也有諸多不完美

Apache Spark為大數據處理提供一套完整的工具，用戶在大數據集上進行操作完全不需考慮底層基礎架構，它會幫助用戶進行數據采集、查詢、處理以及機器學習，甚至還可以構建抽象分布式系統。

2017-03-10 16:32:44

Apache Spar 大數據工具

實現Spark部署依賴供應商還是"自力更生"？

Apache Spark用戶經常面臨一個困境：繼續獲取來自供應商的支持還是更新版本，使用具有更新功能的快速移動的開源軟件?

2017-03-07 08:28:38

Spark 部署供應商

Spark性能優化之道——解決Spark數據傾斜（Data Skew）的N種姿勢

本文結合實例詳細闡明了Spark數據傾斜的幾種場景以及對應的解決方案，包括避免數據源傾斜，調整并行度，使用自定義Partitioner，使用Map側Join代替Reduce側Join，給傾斜Key加上隨機前綴等。

2017-03-07 07:44:52

Spark 數據傾斜

OpenStack Sahara如何構建Hadoop和Spark系統

OpenStack是一種云操作系統，用于提供虛擬機，而OpenStack Sahara是一個附加組件，使管理員能夠在這些虛擬機上部署Spark和Hadoop。

2017-03-06 09:40:39

OpenStack S Hadoop Spark

Spark知識體系完整解讀

　　Spark是整個BDAS的核心組件，是一個大數據分布式編程框架，不僅實現了MapReduce的算子map 函數和reduce函數及計算模型，還提供更為豐富的算子，如filter、join、groupByKey等。是一個用來實現快速而同用的集群計算的平臺。

2017-02-27 16:42:23

Spark 識體系

雅虎BigML團隊開源大數據分布式深度學習框架TensorFlowOnSpark

在雅虎，我們發現，為了從海量數據中獲得洞察力，需要部署分布式深度學習。現有的深度學習框架常常要求為深度學習單獨設定集群，迫使我們要為一個機器學習流程(見下圖 1)創建多個程序。

2017-02-15 14:36:12

開源大數據 TensorFlowO

用Spark機器學習數據流水線進行廣告檢測

在這篇文章中，我們Spark的其它機器學習API，名為Spark ML，如果要用數據流水線來開發大數據應用程序的話，這個是推薦的解決方案。

2017-02-14 21:00:33

大數據機器學習廣告檢測

大數據框架對比：Hadoop、Storm、Samza、Spark和Flink

大數據是收集、整理、處理大容量數據集，并從中獲得見解所需的非傳統戰略和技術的總稱。雖然處理數據所需的計算能力或存儲容量早已超過一臺計算機的上限，但這種計算類型的普遍性、規模，以及價值在最近幾年才經歷了大規模擴展。

2017-02-14 13:11:23

Hadoop Storm Samza

大數據計算架構Hadoop、Spark和Storm 三者技術比較

縱觀技術的發展史，我們可以看到，每一項新技術的問世都有著之前技術的身影，伴隨著大數據的需求增長，不同的架依然會不斷進化，并改進自身的缺點，從而使得自身架構得到進一步的完善。就目前來看Hadoop，Spark和Storm目前遠談不到誰取代誰。

2017-02-10 09:00:03

Hadoop Spark Storm

用Spark分析Amazon的8000萬商品評價(內含數據集、代碼、論文)

盡管數據科學家經常通過分布式云計算來處理數據，但是即使在一般的筆記本電腦上，只要給出足夠的內存，Spark也可以工作正常(在這篇文章中，我使用2016年MacBook Pro / 16GB內存，分配給Spark 8GB內存)。

2017-02-09 14:34:25

亞馬遜大數據 Spark

用Spark學習矩陣分解推薦算法

在矩陣分解在協同過濾推薦算法中的應用中，我們對矩陣分解在推薦算法中的應用原理做了總結，這里我們就從實踐的角度來用Spark學習矩陣分解推薦算法。

2017-02-08 09:25:16

Spark 分解推薦

看大片深入理解Spark的概念和編程方式

第一次聽聞Spark是2013年年末，當時筆者對Scala(Spark的編程語言)感興趣。一段時間之后做了一個有趣的數據科學項目，試圖預測泰坦尼克號上的生還情況(Kaggle競賽項目，通過使用機器學習預測泰坦尼克號上哪些乘客具備更高的生還可能性)。通過該項目可以更深入地理解Spark的概念和編程方式。

2017-01-15 21:20:30

Spark Apache Spar 數據科學

Intel開源基于Spark的深度學習庫BigDL

近日，Intel 開源了 BigDL，這是一個基于 Apache Spark 的分布式深度學習庫。使用 BigDL ，用戶可以將他們的深度學習應用程序作為標準的 Spark 程序，它可以直接運行在現有的 Spark 或 Hadoop 集群之上。

2017-01-11 16:36:51

Intel 開源 BigDL

Apache Spark 2.0簡介，那些你想知道的事都在這里了

Spark Streaming在大數據領域第一次嘗試將批處理和流計算進行了統一。

2017-01-11 08:37:07

Apache Spar Streaming DataFrames

基于Spark的公安大數據實時運維技術實踐

本文首先對公安運維管理現狀做了簡要介紹，然后介紹公安實時運維平臺的整體架構，再以交換機Syslog信息為例，詳細介紹如何使用Flume+Logstash+Kafka+Spark Streaming進行實時日志處理分析，對處理過程中大量的技術細節進行了描述并通過代碼詳細地介紹整體處理步驟。

2017-01-04 10:29:37

Spark 運維技術

挨踢部落第一期:Spark離線分析維度原創

挨踢部落是為核心開發者提供深度技術交流，解決開發需求，資源共享的服務社群。基于此社群，我們邀請了業界技術大咖對開發需求進行一對一突破，解除開發過程中的絆腳石。以最專業、最高效的答復為開發者解決開發難題。

2016-12-22 10:26:16

大數據 spark

使用Apache Spark 的Lambda架構

市場上很多玩家已經建造了MapReduce工作流用來日常處理兆兆字節的歷史數據。

2016-12-20 09:47:38

Apache Spar Lambda 架構

Spark Streaming原理剖析

在“1.初始化與集群上分布接收器”中介紹了，receiver集合轉換為RDD在集群上分布式地接收數據流。那么每個receiver是怎樣接收并處理數據流的呢?Spark Streaming數據接收與轉化的示意圖如圖8-14所示。

2016-12-19 14:35:32

Spark Strea 原理剖析數據

Spark SQL架構分析

Spark SQL的查詢優化是Catalyst，其基于Scala語言開發，可以靈活利用Scala原生的語言特性方便地擴展功能，奠定了Spark SQL的發展空間。

2016-12-14 19:20:07

Spark SQL 架構分布式

Spark SQL優化策略

查詢優化是傳統數據庫中最為重要的一環，這項技術在傳統數據庫中已經很成熟。除了查詢優化，Spark SQL在存儲上也進行了優化。下面介紹Spark SQL的一些優化策略。

2016-12-14 19:04:16

Spark SQL 優化

Spark架構在大數據環境的核心位置找到用武之地

Webtrends公司的IT團隊在Apache Spark這款處理引擎還是一項學術研究項目的時候就已經開始使用它并沿用至今。但當Webtrends在2014年年中部署了一套基于Hadoop的大數據環境來對分析應用程序進行增強的時候，Spark架構便成了一個有限的角色：有關數據索引的聚合細節有助于用戶發現相關信息。現在，一切都已改變，而且該公司正在花大力氣學習Spark并作為其大數據平臺升級版本的一部分。

2016-12-07 13:18:52

Spark架構大數據

如何用Spark解決一些經典MapReduce問題？

本文將簡單介紹幾個經典hadoop的mr按理用spark實現，來讓大家熟悉spark的開發。

2016-12-07 09:38:53

Spark MapReduce

使用Apache Spark構建實時分析Dashboard

Apache Spark – 一個通用的大規模數據快速處理引擎。Spark的批處理速度比Hadoop MapReduce快近10倍，而內存中的數據分析速度則快近100倍。

2016-11-29 09:27:22

Apache Spar Dashboard 構建

實現Spark集群部署這些公司都經歷了什么?

咨詢公司獲得了客戶關于Spark評價的 “實質性”調查。但這項技術尚未成熟，企業用戶中關于Spark集群的產品相對較少。他說，“我們對這項技術很感興趣，Spark是否轉化為部署是我們密切關注的事情。”

2016-11-29 09:23:17

Spark 集群部署

關鍵七步，用Apache Spark構建實時分析Dashboard

本文我們將學習如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts構建實時分析Dashboard。

2016-11-22 13:25:28

Apache Spar 大數據

Apache Spark的Lambda架構示例應用

目前，市場上很多玩家都已經成功構建了MapReduce工作流程，每天可以處理TB級的歷史數據，但是在MapReduce上跑數據分析真的太慢了。所以我們給大家介紹利用批處理和流處理方法的Lambda架構，本文中將利用Apache Spark(Core，SQL，Streaming)，Apache Parquet，Twitter Stream等實時流數據快速訪問歷史數據。

2016-11-15 14:07:28

Apache Spar Lambda Hadoop

數據傾斜是多么痛？spark作業調優秘籍

有的時候，我們可能會遇到大數據計算中一個最棘手的問題——數據傾斜，此時Spark作業的性能會比期望差很多。數據傾斜調優，就是使用各種技術方案解決不同類型的數據傾斜問題，以保證Spark作業的性能。

2016-11-11 20:16:23

數據傾斜 spark

Spark不是唯一，三種新興的開源數據分析工具

在數據分析方面，影響深遠的變化正在醞釀之中，而開源工具在引領許多變化。當然，你可能已熟悉這個領域的一些明星開源項目，比如Hadoop和Apache Spark，不過現在出現了強烈的要求，需要全面完善數據分析生態系統的新工具。值得注意的是，許多這些工具是為了處理流數據而定制的。

2016-11-09 14:28:04

Spark 開源數據分析工具

大數據技術的對決——Spark對Impala對Hive對Presto

在大數據浪潮全面來襲的歷史背景下，我們一直面臨著同一類難題的困擾——該選擇哪款工具解決相關問題?這項挑戰在大數據SQL引擎領域同樣存在。

2016-11-07 16:06:43

大數據 Spark Impala

Spark與Hadoop MapReduce大比拼，誰實力更強

park與Hadoop MapReduce在業界有兩種說法：一是 Spark 將代替 Hadoop MapReduce，成為未來大數據處理發展的方向 ;二是 Spark 將會和 Hadoop 結合，形成更大的生態圈。

2016-11-02 09:20:01

Spark Hadoop MapR 大數據

Spark將機器學習與GPU加速機制納入自身譯文

此次推出的新功能——即GPU加速與多套深度學習庫集成——在理論上能夠實現Apache Spark在任意位置的安裝工作。不過Databricks方面表示，其版本目前仍處于調整階段，這是為了避免資源爭用情況給功能的實際使用帶來復雜性影響

2016-10-31 10:34:13

GPU,機器學習

Spark與Hadoop兩大技術趨勢解

說到大數據分析，16年基本被Spark與Hadoop霸屏，到底是什么樣的魔力讓它們足以引起大數據世界的波動，未來又會如何發展呢?

2016-10-25 09:13:21

Spark Hadoop 技術

理解Spark的核心RDD

與許多專有的大數據處理平臺不同，Spark建立在統一抽象的RDD之上，使得它可以以基本一致的方式應對不同的大數據處理場景，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等

2016-10-24 23:04:56

Spark RDD 數據

理解Spark的核心RDD

RDD，全稱為Resilient Distributed Datasets，是一個容錯的、并行的數據結構，可以讓用戶顯式地將數據存儲到磁盤和內存中，并能控制數據的分區。

2016-10-24 09:52:45

Spark RDD 容錯

Spark生態系統中的圖數據分析知識

圖結構可有效表示稀疏矩陣，因而圖數據分析可用于實現大數據分析。對于Spark生態系統中的圖處理系統GraphX，《Spark GraphX in Action》一書給出了詳細的教程和典型用例，將教會讀者如何使用GraphX和GraphFrames進行圖分析。本文是Info對該書作者的訪談，內容包括圖數據及分析技術、GraphX高效程序開發、圖數據分析的趨勢等。

2016-10-19 18:31:11

Spark 圖數據分析傳統數據

Hadoop+Spark 大數據開發項目最佳實踐

醫療IT系統收集了大量極具價值的數據，但這些歷史醫療數據并沒有發揮出其應有的價值。為此，本文擬利用醫院現有的歷史數據，挖掘出有價值的基于統計學的醫學規則、知識，并基于這些信息構建專業的臨床知識庫，提供診斷、處方、用藥推薦功能，基于強大的關聯推薦能力，極大地提高醫療服務質量，減輕醫療人員的工作強度。

2016-10-12 09:41:45

Hadoop+Spar 大數據開發

加速企業級大數據方案落地 IBM聚力發揮Spark優勢

面對這一逐漸強大的數據計算架構，IBM著力發展Spark項目，將其定位于數據分析的操作系統，并基于Spark構建IBM數據分析產品的整個體系。IBM對Spark的“押寶”，可以從社區貢獻、產品搭建、人才教育、創新應用四個維度予以解讀

2016-10-11 10:20:04

Spark加速大數據在企業落地

Spark加速大數據在企業落地

2016-09-22 14:32:46

Spark的三種集群deploy模式對比

Spark有三種集群部署模式，或者叫做集群管理模式。分別是standalone，YARN和Mesos。這三種模式其實都是master/slave模式。

2016-09-13 14:05:24

Spark 集群管理模式

開學好成績!新華三獲Hadoop/Spark大數據認證6項第一

開學季來到，新華三集團迎來新學期首輪好成績：以12項測試6項第一的傲人成績，通過大數據Hadoop/Spark產品能力認證性能專項測試，并在9月1日2016可信云大會開幕式中獲頒證書，成為新華三大數據平臺繼4月25號基礎能力認證之后的又一突破。這標志著新華三在大數據領域領先的技術實力受到業界的一致認可，也預示著新華三在大數據道路上又往前邁進了一大步。

2016-09-06 13:55:54

Spark體系架構必讀

最近看到一篇關于Spark架構的博文，作者是 Alexey Grishchenko。看過Alexey博文的同學應該都知道，他對Spark理解地非常深入，讀完他的 “spark-architecture” 這篇博文，有種醍醐灌頂的感覺，從JVM內存分配到Spark集群的資源管理，步步深入，感觸頗多。因此，在周末的業余時間里，將此文的核心內容譯成中文，并在這里與大家分享。

2016-09-04 14:00:31

一文讀懂Hadoop、HBase、Hive、Spark分布式系統架構

機器學習、數據挖掘等各種大數據處理都離不開各種開源分布式系統，hadoop用戶分布式存儲和map-reduce計算，spark用于分布式機器學習，hive是分布式數據庫，hbase是分布式kv系統，看似互不相關的他們卻都是基于相同的hdfs存儲和yarn資源管理，本文通過全套部署方法來讓大家深入系統內部以充分理解分布式系統架構和他們之間的關系。

2016-09-01 13:48:18

Hadoop HBase Hive

大數據項目實踐：基于hadoop+spark+mongodb+mysql+c#開發醫院臨床知識庫系統

針對醫療IT系統現狀,思考擬利用醫院現有的歷史就診記錄、處方、診斷、病歷數據，挖掘出有價值的基于統計學的醫學規則、知識，并基于這些規則、知識信息構建專業的臨床知識庫，為一線醫務人員提供專業的診斷、處方、用藥推薦功能，基于強大的關聯推薦能力，極大的提高醫療服務質量，減輕一線醫療人員的工作強度。

2016-08-24 17:35:27

hadoop spark 中間件

讓Spark如虎添翼的Zeppelin – 基礎篇

Spark是一個非常好的計算平臺，支持多種語言，同時基于內存的計算速度也非常快。對于剛接觸的人來說，上手以及環境搭建還是有一些困難。

2016-08-22 11:06:43

Spark Zeppelin python modu

Spark入門：實現WordCount的3種方式

當我們學習一門新的語言，HelloWorld通常是我們寫的第一個程序。而WordCount基本上是我們學習MapReduce思想與編程的第一個程序，無論是Hadoop的MR或者是Spark的RDD操作學習。

2016-08-19 08:50:12

Spark WordCount reduceByKey

為什么說Spark SQL遠遠超越了MPP SQL

MPP SQL 是 Spark SQL 的一個子集，Spark SQL 成為了一種跨越領域的交互形態，MPP SQL 是 Spark SQL 的一個子集。

2016-07-01 14:37:01

Apache Spark不是唯一，快來了解三種新興的開源數據分析工具譯文

物聯網帶來了眾多傳感器及其他設備，它們在生成源源不斷的數據流，而物聯網只是推動市場需要新型分析工具的重大趨勢之一。我們需要全面完善數據分析生態系統的新工具。值得注意的是，許多這些工具是為了處理流數據而定制的。本文將探討三種新興的數據分析工具。

2016-06-20 09:06:12

Apache Spar 開源工具

Spark SQL 究竟是何方神圣? 譯文

Spark SQL屬于Spark用于處理結構化與半結構化數據的接口。結構化數據是指那些擁有一定模式的數據，包括JSON、Hive Tables以及Parquet。模式意味著每條記錄都擁有一套已知字段組。半結構化數據則代表著模式與數據之間不存在明確的區分。

2016-06-17 12:31:10

Spark SQL 數據處理 Spark

Cloudera與微軟開發Livy 簡化Spark應用

Livy為應用程序與Spark相連接、交付作業以及程序化檢索結果提供了一個簡單的方式。從其核心上來說，Livy是一款提交、運行以及管理Spark任務和環境的REST服務器。其客戶端API，允許同步或異步精細Spark作業交付及結果檢索。客戶能夠像一種多租戶服務一樣對Spark進行使用，無需擔心實施、配置或監測。Livy以多租戶服務的形式，來為Spark提供會話隔離、安全及用戶身份模擬

2016-06-16 09:56:17

呼之欲出！比Spark快10倍的Hadoop3.0有哪些實用新特性？

Hadoop 2.0是基于JDK 1.7開發的，而JDK 1.7在2015年4月已停止更新，這直接迫使Hadoop社區基于JDK 1.8重新發布一個新的Hadoop版本，而這正是hadoop 3.0。

2016-06-02 14:05:22

Hadoop 3.0 大數據處理 Spark

上一頁 1 ··· 3 4 5 6 7 8 下一頁

51CTO技術棧公眾號

業務
速覽

媒體

51CTO CIOAge HC3i

社區

51CTO博客鴻蒙開發者社區 AI.x社區

教育

51CTO學堂精培企業培訓 CTO訓練營

主站蜘蛛池模板： 91在线网站| 黄在线免费观看 | 欧美精品日韩精品 | 亚洲二区在线 | 97国产精品视频人人做人人爱 | 亚洲精品国产成人 | 国产一级一级毛片 | 欧美一卡二卡在线观看 | 妖精视频一区二区三区 | 亚洲国产一区二区在线 | 亚洲国产精品久久久 | 国产精品免费av | 精品一区二区久久久久久久网精 | 欧美一区二区三区在线免费观看 | 成人午夜免费视频 | 日本成人在线免费视频 | 亚洲精品电影 | 中文字幕乱码一区二区三区 | 亚洲欧美综合精品久久成人 | 日韩在线一区二区三区 | 中文精品一区二区 | 精品久久久久久久久久久久久久 | 久久免费视频在线 | 日一区二区 | 九九热在线精品视频 | 欧美精品在线一区 | 亚洲欧美成人影院 | 亚洲一二三区在线观看 | 中文字幕亚洲一区 | 视频三区| 精品国产精品三级精品av网址 | 免费在线色 | 日韩免费福利视频 | 丁香久久 | 三级欧美 | 精品国产色 | 久久亚洲一区 | 91国内视频在线 | 精品国产女人 | 99久久精品国产麻豆演员表 | 一区二区三区视频在线观看 |