成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

<source id="oyyu6"></source>

<pre id="oyyu6"></pre>

<noscript id="oyyu6"></noscript>

<delect id="oyyu6"></delect>

鴻蒙開發者社區

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考信創認證華為認證廠商認證 IT技術 PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發者社區

51CTO技術棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發者社區訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業版APP

鴻蒙開發者社區視頻號

51CTO軟考題庫

賬號設置退出

大數據

9238內容??

關注

大數據話題包括大數據相關的最新資訊、前沿技術、使用技巧、應用案例等內容，涉及數據分析、數據可視化、商業智能、Hadoop、Spark、數據湖、數據倉庫、等領域。

文章博文帖子課程

共 226 條

0005 - Hadoop-Shell命令指南大全

大數據夢工廠（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令簡介bash適用于任何文件系統hadoopfs<args只能用于HDFS分布式文件系統hadoopdfs<args（推薦）和上面的命令作用相同，當使用hadoopdfs時內部會被轉為hdfsdfs命令hdfsdf

2021-09-06 22:06:04

Spark的兩種核心Shuffle詳解

在 MapReduce 框架中， Shuffle 階段是連接 Map 與 Reduce 之間的橋梁， Map 階段通過 Shuffle 過程將數據輸出到 Reduce 階段中。由于 Shuffle 涉及磁盤的讀寫和網絡 I/O，因此 Shuffle 性能的高低直接影響整個程序的性能。 Spark 也有 Map 階段和 Reduce 階段，因此也會出現 Shuffle 。文章都會首發在公眾號【五

2021-09-05 10:53:34

0004 - DataNode工作機制解析

大數據夢工廠（0004DataNode工作機制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每個節點部署一個，用于存儲數據，負責提供客戶端的讀寫請求，并且根據NameNode的指令執行數據塊的創建、刪除、追加和復制等操作。DataNode三大功能：負責管理所在節點上存儲數據的讀寫，及存儲每個文件的數據

2021-09-05 09:30:21

Hadoop HDFS DataNode

Hadoop之常用概念

Hadoop中常用概念，機架感知策略、寫數據流程、降副本后刪除冗余數據時間和心跳機制

2021-09-04 22:58:07

機架感知策略 Hadoop寫數據流程降副本后刪除冗余數據時

0003 - NameNode工作機制解析

大數據夢工廠（0003NameNode工作機制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服務，它管理和維護著整個HDFS分布式文件系統，主要有以下作用：負責接收客戶端的操作請求；負責管理文件系統命名空間（NameSpace）、集群配置信息及存儲塊的復制等；負責文件目錄樹的維護以及文件對應Blo

2021-08-29 22:37:01

Hadoop HDFS NameNode

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一組可擴展和可擴展的核心基礎治理服務，使企業能夠有效地滿足Hadoop中的合規性要求，并允許與整個企業數據生態系統集成。 Apache Atlas為組織提供了開放的元數據管理和治理功能，以建立其數據資產的目錄，對這些資產進行分類和治理，并為數據科學家，分析師和數據治理團隊提供圍繞這些數據資產的協作功能。如果沒有Atlas大數據表依賴問題不好解決，元數據管理需要自

2021-08-21 15:46:53

大數據—— YARN

源碼見：https://github.com/hiszm/hadooptrainYARN產生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群資源管理系統。用戶可以將各種服務框架部署在YARN上，由YARN進行統一地管理和資源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

#導入MD文檔圖片#學完大數據,來測測你大數據技術掌握程度?

問題1：Rowkey如何設計，設計規則是什么？ - 業務原則：貼合業務，保證前綴是最常用的查詢字段 - 唯一原則：每條rowkey唯一表示一條數據 - 組合原則：常用的查詢條件組合作為Rowkey - 散列原則：rowkey構建不能連續 - 長度原則：滿足業務需求越短越好

2021-08-07 11:27:18

大數據面試題

CDH6.3.0上配置各種對象存儲

cm-hdfs: ufile: 還需添加jar包 ? ? S3:是自帶jar包 ? ? OSS: CDH6不需要下載包, CDH5需要 core-site.xml 的群集范圍高級配置代碼段（安全閥） ? ? ? ? fs.oss.endpoint oss-eu-west-1.aliyuncs.com? ? ? ? ? ? ? #oss的外網地址fs.oss.accessKeyId?fs.

2021-07-27 17:54:03

Hadoop基礎-12-Hive

源碼見：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ? data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

數據庫大數據 hadoop

用戶路徑分析之利器“桑基圖”

本文帶你走一遭，講講桑基圖的前世今生，桑基圖在互聯網產品分析領域的應用，以及如何用python將一個常見埋點數據CSV文件做出漂亮的桑基圖。

2021-07-10 21:36:04

Hadoop 官方WordCount案例帶你手把手的解析

package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoop hadoop

超級經典的SQL練習題（MySQL版本），你還怕SQL不過關嗎？

微信搜索公眾號【C you again】，回復“SQL”下載無水印PDF版本，方便收藏 ## 1 數據表 #### 1.1 學生表 Student（SId，Sname，Sage，Ssex） > SId 學生編號，Sname 學生姓名，Sage 出生年月，Ssex 學生性別 #### 1.2 課程表 Course（CId，Cname，TId） > CId 課程編號，Cname 課程名稱，

2021-07-09 13:36:50

面試系列五之項目涉及技術Spark

面試系列五之項目涉及技術Spark

2021-06-21 21:49:44

Note_Spark_Day02：Spark 基礎環境

Spark Day02：Spark 基礎環境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次課程內容回顧主要講解2個方面的內容：Spark 框架概述和

2021-06-21 10:36:31

Spark RDD算子進階（轉換算子、行動算子、緩存、持久化）

0x00 教程內容0x01 進階算子操作1. 創建RDD2. 轉換算子3. 行動算子0x02 RDD的緩存與持久化1. 緩存與持久化的意義2. 緩存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

帶你深入淺出，徹底了解什么是Spark？

????????大數據專業，或者人工智能，深度學習方向的小伙伴們一定對Spark這個名詞不陌生吧~不認識也沒有關系，今天Alice為大家帶來關于Spark的一個詳細介紹。文章目錄激動人心的Spark發展史Spark為什么流行？1：優秀的數據模型和計算抽象2：完善的生態圈3.Spark VS HadoopSpark使...

2021-06-01 17:48:55

Spark 大數據技術

大數據面試殺招——Spark高頻考點，必知必會!

關于大數據面試中Spark的高頻考點，快來學習!

2021-06-01 17:20:31

flume的集群部署與測試

flume的集群部署標簽（空格分隔）：協作框架[toc]##一：flume介紹：1.1flume的介紹Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。當前Flume有兩個版本Flume0.9X版本的統稱Flume

2021-05-26 16:30:24

數棧技術分享：一文帶你了解Flink jm、tm啟動過程和資源分配

一、JM啟動過程1、從日志角度分析啟動流程1）client生成jobGraph詳情請參考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到請求(和yarn交互不重點分析)3）在被分配的節點上的工作目錄下啟動launch_container.sh4）在perJob模式下，最終調用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink 大數據開源項目

如何監控Azure Databricks集群資源使用率

Azure Databricks可以監控嗎？如何監控Azure Databricks呢？這篇文章給你答案！

2021-05-21 15:19:58

Azure Datab Databricks 監控

網易Spark Kyuubi核心架構設計與源碼實現剖析

本文較為系統、全面并且由淺入深地介紹了網易Spark Kyuubi出現的背景、核心架構設計與關鍵源碼實現，是學習、應用和對Kyuubi進行二次開發不可多得的技術干貨。

2021-05-17 03:41:26

大數據 Spark Kyuubi

prometheus+ Grafana監控全家桶

普羅米修斯監控操作系統，elasticsearch、kafka、flink

2021-05-13 10:04:17

普羅米修斯監控es prometheus prometheus

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA標簽（空格分隔）：大數據運維專欄一：hadoopHDFSHA與yarnHA的概述二：部署環境概述三：部署zookeeper四：部署HDFSHA與yarnHA五：關于HA的測試一：hadoopHDFSHA與yarnHA的概述1.1HA的概述HA概述1）所謂HA（HighAvailable），即高可用（7*24小時不中斷服務）。2）實現高可用最

2021-05-13 06:06:27

hadoop HA yarn HA

實時計算框架：Flink集群搭建與運行機制

Flink是一個框架和分布式處理引擎，用于對無界和有界數據流進行有狀態計算。Flink被設計在所有常見的集群環境中運行，以內存執行速度和任意規模來執行計算。主要特性包括：批流一體化、精密的狀態管理、事件時間支持以及精確一次的狀態一致性保障等。Flink不僅可以運行在包括YARN、Mesos、Kubernetes在內的多種資源管理框架上，還支持在裸機集群上獨立部署。在啟用高可用選項的情況下，它不存在單點失效問題。

2021-05-09 19:33:48

Flink Spark 大數據

實時計算框架：Spark集群搭建與入門案例

Spark是專為大規模數據處理而設計的，基于內存快速通用,可擴展的集群計算引擎，實現了高效的DAG執行引擎,可以通過基于內存來高效處理數據流，運算速度相比于MapReduce得到了顯著的提高。

2021-04-26 08:32:07

Spark 大數據實時計算

SparkSubmit object分析

org.apache.spark.deploy.SparkSubmit分析ObjectSparkSubmit類圖分析![](https://s4.51cto.com/images/blog/202104/22/6f3f6821c2c3e8903ec82254c4ca02e0.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6

2021-04-22 14:54:23

OLAP引擎：基于Druid組件進行數據統計分析

與現在相對熱門的Clickhouse引擎相比，Druid對高并發的支持相對較好和穩定，但是Clickhouse在任務隊列模式中的數據查詢能力十分出色，但是對高并發支持不夠友好，需要做好很多服務監控和預警。大數據組件中OLAP引擎的選型有很多，在數據的查詢引擎層通常都具有兩種或者以上的OLAP引擎，選擇合適的組件解決業務需求是優先原則。

2021-04-05 11:09:29

Druid OLAP 大數據

數據調度組件：基于Azkaban協調時序任務執行

Azkaban是由Linkedin公司推出的可以管理批量工作流任務的調度器，用于在一個工作流內以一個特定的順序運行一組工作和流程。Azkaban使用job配置文件建立任務之間的依賴關系，并提供一個易于使用的web用戶界面維護和跟蹤你的工作流。

2021-03-30 08:26:23

Azkaban 大數據任務調度

Spark性能調優-Shuffle調優及故障排除篇

Spark調優之Shuffle調優本節開始先講解Shuffle核心概念；然后針對HashShuffle、SortShuffle進行調優；接下來對map端、reduce端調優；再針對Spark中的數據傾斜問題進行剖析及調優；最后是Spark運行過程中的故障排除。本文首發于公眾號【五分鐘學大數據】，本公號專注于大數據技術，分享高質量大數據原創技術文章。一、Shuffle的核心概念1. ShuffleM

2021-03-24 21:06:08

大數據 spark

Spark性能調優-RDD算子調優篇（深度好文，面試常問，建議收藏）

Spark調優之RDD算子調優不廢話，直接進入正題！1. RDD復用在對RDD進行算子時，要避免相同的算子和計算邏輯之下對RDD進行重復的計算，如下圖所示：RDD的重復計算對上圖中的RDD計算架構進行修改，得到如下圖所示的優化結果：RDD架構優化2. 盡早filter獲取到初始RDD后，應該考慮盡早地過濾掉不需要的數據，進而減少對內存的占用，從而提升Spark作業的運行效率。本文首發于公眾號：五分

2021-03-06 09:43:48

大數據 spark 大數據面試

Flink實戰，APP推廣情況分析

接著https://blog.51cto.com/mapengfei/2581240這里用Flink來實現對APP在每個渠道的推廣情況包括下載、查看、卸載等等行為的分析因為之前的文章都是用scala寫的，這篇用java來實現一波，分別演示下用aggregate聚合方式和process方式的實現和效果整體思路1、準備好數據源：這里用SimulatedSource來自己隨機造一批數據2、準備數據輸入樣

2021-01-10 21:13:17

flink APP統計 flink java

Flink實戰，實時流量統計 TOPN訪問URL

跟https://blog.51cto.com/mapengfei/2580330類似場景，來從Nginx、Apache等web服務器的日志中讀取數據，實時統計出來訪問熱度最高的TOPN訪問URL，并且要確保數據亂序的處理，lag等情況下，還要確認數據的準確性目標：從log文件中讀取數據（也可以參考上一篇從kakfa中），取http的method為get的請求，并且把靜態文件訪問過濾掉，進行實時統

2021-01-03 17:09:18

flink統計熱門ur 實時流量統計

記錄一次事故處理50%kudu表無法進行正常訪問

記錄一次事故處理50%kudu表無法進行正常訪問測試環境kudu集群事故，影響：測試效果，測試進度，生產發布延遲，需警惕，特此寫出過程操作需謹慎！操作需謹慎！操作需謹慎！任務環境都要以生產環境而對待！事故原因：昨天于上午10點，業務說kudu表無法使用后，影響測試，無法正常發布。去scm平臺發現kudu_tablet掛了5臺運維查看信息日志后，做近一步處理1.重啟kudu—tablet發現無法啟動

2020-12-21 15:27:43

kudu表無法訪問 kudu規范 kudu_tablet

prometheus + grafana 對flink 進行監控

prometheus+grafana對flink進行監控標簽（空格分隔）：flink系列一：flink監控簡介二：Flink的Metric架構三：prometheus+grafana的對flink的監控部署構建一：flink監控簡介1.1前言Flink提供的Metrics可以在Flink內部收集一些指標，通過這些指標讓開發人員更好地理解作業或集群的狀態。由于集群運行后很難發現內部的實際狀況，跑得慢

2020-12-18 09:37:32

flink prometheus grafana

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos標簽（空格分隔）：大數據運維專欄一：系統環境二：CDH6.3.2集成freeipa的Kerberos一：系統環境1.2系統配置要求大數據的所有主機注入到FreeIPA當中cdh最低版本為CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPA kerberos cdh6.3.2

Flink從入門到真香(16、Flink內置的一些Process Function)

之前的轉換算子是無法訪問事件的時間戳信息和水位線信息的，而這在一些應用場景下，極為重要。例如MapFunction這樣子的map轉換算子就無法訪問時間戳或者當前事件的事件事件。基于此，DataStreamAPI提供了一系列LOW-LEVEL的轉換算子調用。可以訪問時間戳，watermark以及注冊定時事件，還可以輸出特定的一些事件，例如超時時間等。processfunction用來構建事件驅動的應

2020-11-25 21:54:42

Flink check checkpoint 狀態后端

將大數據學習門檻降到了地平線

可能是Hadoop hdfs mapreduce最親民的介紹

2020-10-29 21:14:14

hadoop hdfs mapreduce

大數據PAZR集成ldap實操！what？

大數據PAZR集成ldap實操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH運維 zeppline presto

Hadoop 之 HDFS

1HDFS概述1.1HDFS產出背景及定義隨著數據量越來越大，在一個操作系統存不下所有的數據，那么就分配到更多的操作系統管理的磁盤中，但是不方便管理和維護，迫切需要一種系統來管理多臺機器上的文件，這就是分布式文件管理系統。HDFS只是分布式文件管理系統中的一種。HDFS（HadoopDistributedFileSystem），它是一個文件系統，用于存儲文件，通過目錄樹來定位文件；其次，它是分布式

2019-09-07 00:55:36

生產SparkStreaming數據零丟失最佳實踐(含代碼)

生產上保證數據零丟失(斷批還原)

2019-06-22 09:14:33

Spark Spark Strea

Spark on Yarn with Hive實戰案例與常見問題解決

Spark on Yarn with Hive實戰案例與常見問題解決

2018-10-09 11:14:27

Spark Yarn Hive

大數據采集、清洗、處理：使用MapReduce進行離線數據分析完整案例

大數據采集、清洗、處理：使用MapReduce進行離線數據分析完整案例

2018-04-08 22:36:04

大數據 Hadoop MapReduce

詳解Linux運維工程師高級篇（大數據安全方向）

詳解linux運維工程師高級篇（大數據安全方向）

2018-02-07 18:57:15

大數據安全 kerberos

Hadoop運維記錄系列(二十一)

Zeppelin啟用https過程和Hack內核以滿足客戶需求的記錄。原因是這客戶很有意思，該客戶中國分公司的人為了驗證內網安全性，從國外找了一個滲透測試小組對Zeppelin和其他產品進行黑客測試，結果發現Zeppelin主要倆問題，一個是在內網沒用https，一個是zeppelin里面可以執行shell命令和python語句。其實這不算大問題，zeppelin本來就是干這個用的。但是滲透小組不

2017-11-02 19:25:32

hadoop zeppelin hack

大數據實踐總結－－兩個故障的處理及思路總結

已經有一段時間沒有更新實踐內容了，不是因為沒有在學習。而是工作上出現一個新的挑戰，又在忙論文查重，論文也是大數據方向的，主要是ICT方向的一個技術（若有人感興趣，我會另開一個帖子來詳細談這個內容）。而且最近，把之前所有的實踐環境換了一臺電腦來重新搭建。按理說會很順利，但沒想到，還是出了許多問題。一些簡單的問題就直接解決了，但仍是有兩

2017-09-26 23:24:31

實踐大數據

Apache Bigtop再論與賣書求生存

快一年沒寫博客了，終于回來了，最近因公司業務需要，要基于cdh發行版打包自定義patch的rpm，于是又搞起了bigtop，就是那個hadoop編譯打包rpm和deb的工具，由于國內基本沒有相關的資料和文檔，所以覺得有必要把閱讀bigtop源碼和修改的思路分享一下。我記得很早以前，bigtop在1.0.0以前版本吧，是用make進行打包的，其實這個0.9.0以前的版本，擱我覺得就不應該出現在apa

2016-12-30 15:22:50

apache hadoop bigtop

hadoop源碼解析---INodeReference機制

本文主要介紹了hadoop源碼中hdfs的INodeReference機制。在hdfs2.6版本中，引入了許多新的功能，一些原有的源代碼設計也有一定的改造。一個重要的更新就是引入了快照功能。但是當HDFS文件或者目錄處于某個快照中，并且這個文件或者目錄被重命名或者移動到其他路徑時，該文件或者目錄就會存在多條訪問路徑。INodeReference就是為了解決這個問題產生的。問題描述/a是hdfs中的

2016-07-07 00:27:38

源代碼快照 hdfs

logstash將Kafka中的日志數據訂閱到HDFS

前言：通常情況下，我們將Kafka的日志數據通過logstash訂閱輸出到ES，然后用Kibana來做可視化分析，這就是我們通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比較常用的是實時分析，日志存個十天半個月都會刪掉。那么在一些情況下，我需要將日志數據也存一份到我HDFS，積累到比較久的時間做半年、一年甚至更長時間的大數據分析。下面就來說如何最簡單的通過logstash將kafka中

2016-07-06 11:18:14

hadoop logstash kafka

hadoop+zookepper實現namenode的高可用

Hadoop+zookeepker安裝與配置:在hadoop-env.sh中添加export JAVA的環境變量修改hostname文件的名稱，/etc/hosts文件配置主機名和ip的映射關系，將mstaer，slave的主機名和ip地址都添加進來配置ssh免密鑰配置Ssh-keygen –t rsa在./.ssh文件中生成兩個文件id_rsa（私鑰），id_rsa.pu

2016-02-05 11:38:09

HA hadoop zookeeper

上一頁 1 2 3 4 5 下一頁

51CTO技術棧公眾號

業務
速覽

媒體

51CTO CIOAge HC3i

社區

51CTO博客鴻蒙開發者社區 AI.x社區

教育

51CTO學堂精培企業培訓 CTO訓練營

主站蜘蛛池模板：一级黄色片网站 | 久久久99精品免费观看 | re久久| av香港经典三级级在线 | 一区二区三区不卡视频 | 欧美人妇做爰xxxⅹ性高电影 | 亚洲午夜视频在线观看 | 91久色 | 精品国产一区二区三区免费 | 黄色播放 | 国产婷婷 | 自拍视频一区二区三区 | 欧洲精品一区 | 成人国产精品色哟哟 | 精品视频在线观看 | 国产视频在线一区二区 | 男女污污网站 | 二区在线观看 | 在线一区二区三区 | 亚洲视频区 | 欧产日产国产精品视频 | 成人久久久 | 国产精品一区二区久久 | 欧美视频二区 | 日韩在线高清 | 日本精品久久久一区二区三区 | 成人av免费 | 亚洲精品久久久久久久久久久 | 看a级黄色毛片 | 一级a爱片久久毛片 | 日韩一区二区三区在线观看 | 欧美一区永久视频免费观看 | 久久久国产一区二区三区 | 国产麻豆乱码精品一区二区三区 | 久久久国产视频 | 国产精品一区二区在线 | 色香蕉在线 | 91精品国产综合久久国产大片 | 欧美成人免费在线 | 手机av在线 | 99热热精品|

<option id="kqu42"></option><noscript id="kqu42"><strike id="kqu42"></strike></noscript><delect id="kqu42"></delect>

<sup id="kqu42"><wbr id="kqu42"></wbr></sup>