成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

鴻蒙開發者社區

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學堂

全部課程軟考信創認證華為認證廠商認證 IT技術 PMP項目管理免費題庫

文章資源問答課堂專欄直播

51CTO

鴻蒙開發者社區

51CTO技術棧

51CTO官微

51CTO學堂

51CTO博客

CTO訓練營

鴻蒙開發者社區訂閱號

51CTO軟考

51CTO學堂APP

51CTO學堂企業版APP

鴻蒙開發者社區視頻號

51CTO軟考題庫

賬號設置退出

大數據

9238內容??

關注

大數據話題包括大數據相關的最新資訊、前沿技術、使用技巧、應用案例等內容，涉及數據分析、數據可視化、商業智能、Hadoop、Spark、數據湖、數據倉庫、等領域。

文章博文帖子課程

共 226 條

#Word文檔導入#大數據presto+Alluxio?

大數據presto+Alluxio? 1.Presto安裝? 角色分配?IP地址?HOSTNAME?NodeID?角色?172.16.16.241?incubator-test-dc-001?presto-cdh01?coordinator?172.16.16.246?incubator-test-dc-002?presto-cdh02?worker?172.16.16.25

2022-05-16 16:55:10

cloudera hive apache

MacOS下安裝Apache Flink及測試WordCount

1.安裝java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

2022-05-16 15:43:40

flink apache java

干貨！！基于Spark Graph的社交關系圖譜項目實戰

原創干貨，基于spark graphframes圖計算的社交關系圖譜

2022-05-05 08:46:14

spark 圖計算社交關系圖譜

深入理解Spark原理，從性能優化入手

1 Spark任務文件初始化調優首先進行性能測試，發現這個視頻圖譜N度級聯關系應用分為5個job，最后一個job為保存結果到HDFS，其余job為同樣計算過程的反復迭代。但是發現第一個job比其他job又多了個計算階段stage，如圖中紅圈所示。通過閱讀程序代碼，發現第一個job需要初始化一個空數組，從而產生了一個stage，但是這個stage在性能測試結果上顯示，花費了14秒的時間，遠遠超出合理

2022-04-29 22:40:14

服務器 spark 網絡通信

Spark SQL 字段血緣在 vivo 互聯網的實踐

字段血緣可以很好的幫助我們了解數據生成的處理過程，在探索中我們發現了可以通過Spark的擴展來優雅的實現這一功能

2022-04-25 10:15:07

sql spark sparksql

linux硬核知識點

man 是 manual 的縮寫，將指令的具體信息顯示出來。當執行`man date`時，有 DATE(1) 出現，其中的數字代表指令的類型，常用的數字及其類型如下

2022-04-23 17:02:38

bash 文件系統子進程

Shell腳本進階

if 判斷條件 1 ; then 條件為真的分支代碼 elif 判斷條件 2 ; then 條件為真的分支代碼 elif 判斷條件 3 ; then 條件為真的分支代碼 else 以上條件都為假的分支代碼 fi

2022-04-22 20:49:44

bash 賦值 ip地址

用戶行為指標淺析

前言用戶行為分析是對用戶在產品或觸點上產生的行為及行為背后的數據進行分析，通過構建用戶行為數據分析體系或者用戶畫像，來改變產品、營銷、運營決策，實現精細化運營，指導業務增長。總之，很重要。先來看下用戶類行為指標說明，然后下面詳解常寫的指標。僅供參考，實際開發邏輯還是按業務需求為標準。指標名稱解釋說明:新增用戶首次聯網使用應用的用戶，如果一個用戶首次打開某APP，那這個用戶定義為新增用戶：卸載再安裝

2022-04-19 16:28:49

sql 唯一標識業務需求

一文玩轉Linux(NAT)網絡配置(保姆級別教程)

VMWare提供了三種工作模式，它們是bridged(橋接模式)、NAT(網絡地址轉換模式)和host-only(主機模式)，bridged(橋接模式) 是 VMWare 虛擬出來的操作系統就像是局域網中的一臺獨立的主機，它可以訪問網內任何一臺機器。在橋接模式下，需要手工為虛擬系統配置IP地址、子網掩碼，而且還要和宿主機器處于同一網段，這樣虛擬系統才能和宿主機器進行通信。同時，由于這個虛擬系統是局域網中的一個獨立的主機系統，那么就可以手工配置它的TCP/IP配置信息，以實現通過局域網的網關或路由器訪問互聯網。使用橋接模式的虛擬系統和宿主機器的關系，就像連接在同一個Hub上的兩臺電腦。想讓它們相互通訊，需要為虛擬系統配置IP地址和子網掩碼，否則就無法通信。

2022-04-15 00:12:57

centos Linux NAT網絡配置

詳解Apache Hudi如何配置各種類型分區

1. 引入??Apache??Hudi支持多種分區方式數據集，如多級分區、單分區、時間日期分區、無分區數據集等，用戶可根據實際需求選擇合適的分區方式，下面來詳細了解Hudi如何配置何種類型分區。2. 分區處理為說明Hudi對不同分區類型的處理，假定寫入Hudi的??Schema??如下{ "type" : "record", "name" : "HudiSchemaDemo",

2022-04-11 16:12:41

hive apache 字段

用 GraphScope 像 NetworkX 一樣做圖分析

NetworkX 是 Python 上最常用的圖分析包，GraphScoep 兼容 NetworkX 接口。本文中我們將分享如何用 GraphScope 像 NetworkX 一樣在（大）圖上進行分析。快速訪問graphscope：??https://github.com/alibaba/GraphScope??NetworkX 是什么NetworkX 是一個用 Python 語言開發的圖論與復雜

2022-04-11 15:02:53

twitter 數據聚類

都2022年了，HDFS為何還如此能戰！

HDFS也許不是最好的大數據存儲技術，但依然是最重要的大數據存儲技術。

2022-04-11 14:12:13

hdfs 數據 HDFS

MapReduce編程模型和計算框架

1 概述源于Google的MapReduce論文，發表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop問世前，已有分布式計算，但都是專用系統，僅處理某一類計算，比如進行大規模數據排序。這樣的系統無法復用到其他大數據計算場景，每種應用都需要開發與維護專門系統。而Hadoop MapReduce造就了大數據計算通用編程。只要遵循MapRedu

2022-04-05 20:52:00

mapreduce 數據服務器

數倉建模—OneID

今天是我在上海租房的小區被封的第三天，由于我的大意，沒有屯吃的，外賣今天完全點不到了，中午的時候我找到了一包快過期的肉松餅，才補充了1000焦耳的能量。但是中午去做核酸的時候，我感覺走路有點不穩，我看到大白的棉簽深入我的嘴里，我竟然以為是吃的，差點咬住了，還好我有僅存的一點意識。下午我收到女朋友給我點的外賣——面包（我不知道她是怎么點到的外賣，我很感動），很精致的面包，擱平時我基本不喜歡吃面包，但

2022-03-31 17:39:18

數據建模 spark

GC：垃圾回收機制，不用手動回收釋放#yyds干貨盤點#

GC：垃圾回收機制，不用手動回收釋放什么是垃圾？對象被判定為垃圾的標準沒有被其他對象引用怎么判斷垃圾？判定對象是否為垃圾的算法引用計數算法通過判斷對象的引用數量來決定對象是否可以被回收每個對象實例都有一個引用計數器，被引用則+1，完成引用則1任何引用計數為0的對象實例可以被當作垃圾收集優點:執行效率高，程序執行受影響較小缺點︰無法檢測出循環引用的情況，導致內存泄露javapackagecom.in

2022-03-02 08:23:48

引用計數 java 方法區

最強Flink算子大全手冊，面試拿捏了~

Flink基于流編程模型，內置了很多強大功能的算子，可以幫助我們快速開發應用程序。特此整理Flink算子手冊，趕快拿去！

2022-03-01 21:43:20

flink scala 面試

Hadoop Kerberos 集成

官網參考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html2、創建Hadoop系統用戶為Hadoop開啟Kerberos，需為不同服務準備不同的用戶，啟動服務時需要使用相應的用戶。須在所有節點創建以下用戶和

2022-02-19 13:55:44

hadoop hdfs xml

第02講：Flink 入門程序 WordCount 和 SQL 實現

Flink系列文章

2022-02-10 21:59:52

第12講：Flink 常用的 Source 和 Connector

Flink系列文章1.第01講：Flink的應用場景和架構模型(https://www.ikeguang.com/?p=1976)2.第02講：Flink入門程序WordCount和SQL實現(https://www.ikeguang.com/?p=1977)3.第03講：Flink的編程模型與其他框架比較(https://www.ikeguang.com/?p=1978)4.第04講：Flink

2022-01-29 10:24:47

flink redis apache

漫畫趣解Flink實時數倉

Flink實時數倉架構一文打盡

2022-01-28 23:36:57

flink 實時數倉

我是Flink，現在"背"感壓力~

我是Flink，現在“背”感壓力，我太難了~

2022-01-19 21:18:44

flink kafka 實時計算

萬字長文玩轉Spark面試: 進大廠必看！#yyds干貨盤點#

大數據Spark大廠面試一條龍，硬核干貨~

2022-01-12 00:06:23

spark 實時計算大數據

萬字詳解實時計算一致性機制：對比Flink和Spark#yyds干貨盤點#

海量數據實時計算：Spark和Flink引擎是如何保證Exactly-Once一致性？

2022-01-11 07:48:20

spark 數據 kafka

YYDS|不得不看的Spark內存管理機制

萬字最全Spark內存管理深度剖析

2022-01-09 11:00:37

spark 內存管理實時計算

十分鐘手撕Flink雙流JOIN面試

某年某日某君，于某都面試，為Flink雙流JOIN所惑~ 有感而發，遂下筆，為君解惑~

2022-01-04 22:53:30

Flink 大數據程序員

數倉建模—指標體系#yyds干貨盤點#

指標體系提起指標這個詞，每個人似乎都可以說出幾個指標，像經常在工作中會聽到的日活、月活、注冊率、轉化率、交易量等事實上指標就是用來量化事物的一個工具，幫助我們去將一些抽象的事件得出一個輪廓上的描述。例如我們可以從指標上判斷一個產品的好壞，用戶粘性等等，例如我們通過日活能去判斷出我們整個產品的用戶量，從而能反應出我們這個產品的一個健康程度，也就是否處于增長過程中。一個好的數據指標體系可以助力業務快速

2021-12-22 17:10:10

數據搜索二級

OPPO大數據離線計算平臺架構演進

OPPO大數據離線計算平臺演進道路上，遇到了很多經典的大數據問題，比如說：shuffle失敗、小文件問題、元數據切分、多集群資源協調、spark 任務提交門戶建設。OPPO大數據離線計算平臺團隊依托自身的資源和技術，不斷探索，務實的解決平臺發展中遇到的各種問題。本文圍繞前面提到的五個問題，逐步介紹我們的大數據平臺演進之路。

2021-12-22 15:32:33

大數據 spark yarn

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、環境準備1.環境準備：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平臺二.編譯hudi（這個編譯是以前的一個測試版本，編譯大同小異）1.使用git命令下載hudi0.10的代碼steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

2021-12-15 17:13:27

flink hive 數據

「Spark 從精通到重新入門(二)」Spark 中不可不知的動態資源分配

資源是影響 Spark 應用執行效率的一個重要因素。Spark 應用中真正執行 task 的組件是 Executor，可以通過spark.executor.instances 指定 Spark 應用的 Executor 的數量。在運行過程中，無論 Executor上是否有 task 在執行，都會被一直占有直到此 Spark 應用結束。

2021-12-15 13:44:25

spark sql 動態分配

sqoop用法之mysql與hive數據導入導出#yyds干貨盤點#

一.Sqoop介紹Sqoop是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（例如：MySQL、Oracle、Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。對于某些NoSQL數據庫它也提供了連接器。Sqoop，類似于其他ETL工具，使用元數據模型來判斷數據類型并在數據從數據源轉移到Hadoop時確保類型安

2021-12-06 22:38:37

hive mysql 數據

萬字詳解 Spark 數據傾斜及解決方案

本文目錄：一、調優概述\二、數據傾斜發生時的現象\三、數據傾斜發生的原理\四、如何定位導致數據傾斜的代碼\五、某個task執行特別慢的情況\六、某個task莫名其妙內存溢出的情況\七、查看導致數據傾斜的key的數據分布情況\八、數據傾斜的解決方案：解決方案一：使用HiveETL預處理數據解決方案二：過濾少數導致傾斜的key解決方案三：提高shuffle操作的并行度解決方案四：兩階段聚合（局部聚合+

2021-12-06 10:56:01

數據數據傾斜 spark

大數據面試吹牛草稿V2.0

面試吹牛之前先打個草稿！各位面試官好!本文首發于微信公眾號【五分鐘學大數據】，公眾號上有很多大數據學習方法，學習文檔，最全的大數據面試八股文等1.我叫xxx，畢業于xxx，之前在xxx公司待了1年多，期間?直從事的是IT行業，剛開始的時候做的是Java開發后來轉崗到大數據方向做大數據開發;剛轉行到大數據開發的時候開始比較困難的，大數據并不像Java那樣?套框架基本可以搞定所有的問題，而是不同的業務

2021-12-01 16:55:31

kafka 大數據離線

0012 - YARN三種資源調度器解析

大數據夢工廠（0012YARN三種資源調度器解析）(https://mp.weixin.qq.com/s/wkwIrLIwbfTzyEk9PkMdQ)1YARN資源調度器簡介資源調度器（ResourceScheduler）是HadoopYARN中最核心的組件之一，且是ResourceManager中的一個服務組件，負責整個Hadoop集群資源的分配和管理，用于解決各應用程序之間集群資源搶占的問題。

2021-11-30 23:19:04

Hadoop YARN 大數據

#yyds干貨盤點#Hadoop企業級生產調優手冊(二)

上節：Hadoop企業級生產調優手冊(一)(https://blog.51cto.com/u_14932245/4693074)五、HDFS存儲優化注：演示糾刪碼和異構存儲需要一共5臺虛擬機。盡量拿另外一套集群。提前準備5臺服務器的集群。5.1糾刪碼5.1.1糾刪碼原理HDFS默認情況下，一個文件有3個副本，這樣提高了數據的可靠性，但也帶來了2倍的冗余開銷。Hadoop3.x引入了糾刪碼，采用計算

2021-11-27 11:28:03

hadoop hdfs mapreduce

#yyds干貨盤點#Hadoop企業級生產調優手冊(一)

一、HDFS核心參數1.1NameNode內存生產配置1.NameNode內存計算每個文件塊大概占用150byte，一臺服務器128G內存為例，能存儲多少文件塊呢？12812810241024/150Byte≈9.1億2.Hadoop2.x系列，配置NameNode內存NameNode內存默認2000m，如果服務器內存4G，NameNode內存可以配置3G。在hadoopenv.sh文件中配置如下

2021-11-26 10:48:36

hadoop hdfs 數據

Spark SQL知識點大全與實戰

SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于結構化數據(structureddata)處理的Spark模塊。與基本的SparkRDDAPI不同，SparkSQL的抽象數據類型為Spark提供了關于數據結構和正在執行的計算的更多信息。在內部，SparkSQL使用這些額外的信息去做一些額外的優化，有多種方式與SparkSQL進行交互，比如:SQL和DatasetAPI

2021-11-22 11:07:13

spark scala sql

Spark調優 | Spark OOM問題常見解決方式

Spark OOM 問題分析Spark常見的問題不外乎OOM。我們首先看一下Spark 的內存模型：Spark在一個Executor中的內存分為三塊，一塊是execution內存，一塊是storage內存，一塊是other內存。Execution內存是執行內存，文檔中說join，aggregate都在這部分內存中執行，shuffle的數據也會先緩存在這個內存中，滿了再寫入磁盤，能夠減少IO。其實m

2021-11-19 08:48:22

spark 數據調優

HBase面試題整理

1、HBase的特點是什么？1）大：一個表可以有數十億行，上百萬列；2）無模式：每行都有一個可排序的主鍵和任意多的列，列可以根據需要動態的增加，同一張表中不同的行可以有截然不同的列；3）面向列：面向列（族）的存儲和權限控制，列（族）獨立檢索；4）稀疏：空（null）列并不占用存儲空間，表可以設計的非常稀疏；5）數據多版本：每個單元中的數據可以有多個版本，默認情況下版本號自動分配，是單元格插入時的時

2021-11-14 14:27:35

數據緩存 hive

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置標簽（空格分隔）：大數據運維專欄toc一：hive集成openldap1.1CDH6.3.2的主機節點安裝openldap的客戶端openldap服務端已經配置完成，不會看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安裝openldapclient裝包：yumyinstallopenlda

2021-11-11 17:44:50

openladp cdh hive

Flink計算pv和uv的通用方法

PV(訪問量)：即PageView,即頁面瀏覽量或點擊量，用戶每次刷新即被計算一次。UV(獨立訪客)：即UniqueVisitor,訪問您網站的一臺電腦客戶端為一個訪客。00:0024:00內相同的客戶端只被計算一次。計算網站App的實時pv和uv，是很常見的統計需求，這里提供通用的計算方法，不同的業務需求只需要小改即可拿來即用。需求利用Flink實時統計，從0點到當前的pv、uv。一、需求分析從

2021-11-01 11:26:25

Spark讀取MongoDB數據的方法與優化

1.本文主要介紹了Spark讀區MongoDB數據的方法及自定義分區抽取數據的優化方式

2021-10-28 10:36:53

Spark MongoDB 讀取

kafka分區擴容和修改三個副本數

Kafka是Apache旗下的一款分布式流媒體平臺，Kafka是一種高吞吐量、持久性、分布式的發布訂閱的消息隊列系統。它最初由LinkedIn(領英)公司發布，使用Scala語言編寫，與2010年12月份開源，成為Apache的頂級子項目。它主要用于處理消費者規模網站中的所有動作流數據。動作指(網頁瀏覽、搜索和其它用戶行動所產生的數據)。?消息系統分類我們知道常見的消息系統有Kafka、Rabbi

2021-10-27 11:28:04

cloudera jar kafka

Flink狀態管理與狀態一致性（超級詳細）

!Flink狀態(https://s4.51cto.com/images/blog/202110/26104419_61776b833c95936026.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5n

2021-10-26 10:49:12

耗時一個月，整理出這份Hadoop吐血寶典

本文目錄：一、HDFS\二、MapReduce\三、Yarn\四、Hadoop3.x新特性\五、Hadoop大廠面試真題解析Hadoop涉及的知識點如下圖所示，本文將逐一講解：!(https://s4.51cto.com/images/blog/202110/22145555_6172607b946f17173.png?xossprocess=image/watermark,size_14,tex

2021-10-22 14:57:18

hadoop 大數據

Dolphinscheduler1.3.8集群部署

1.集群節點規劃及說明主機部署服務說明172.16.53.179masterserver,alertserver,zookeeper,mysql數據庫也在該主機172.16.53.180zookeeperzk172.16.53.181apiserver,zookeeperweb服務端口:12345172.16.53.182masterserver172.16.53.183workserver172

2021-10-13 20:44:42

各組件配置LDAP認證手冊

注：本手冊以CM&CDH5.7.6為例1、Hive配置LDAP認證目前單個Hive Server2只能支持一種客戶端認證方式，或者是Kerberos認證，或者是LDAP認證，所以要在一個集群內部同時支持兩種認證方式，必須配置兩個HiveServer 2。注：目前新版本CDH已經可以同時支持兩種認證方式，在CDH5.14.4上已驗證過。1.1、開啟“啟用LDAP身份驗證”搜索“啟用 LDAP

2021-10-13 15:45:10

hue hive impala

0009 - 基于MapReduce的應用案例

大數據夢工廠（0009基于MapReduce的應用案例）(https://mp.weixin.qq.com/s/NTxTX5bcpI5DGDVp6toBg)1MapReduce詞頻統計案例1.1樣本數據這是一個經典的詞頻統計的案例：統計如下樣本數據中每個單詞出現的次數。bashroot@hadoop01catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStorm

2021-09-23 23:17:37

Hadoop MapReduce 大數據

0007 - MapReduce入門指南

大數據夢工廠（0007MapReduce入門指南）(https://mp.weixin.qq.com/s/1T1OsqIPSNCGbaDpy0laZQ)1MapReduce簡介HadoopMapReduce是一個分布式計算框架（也稱為編程模型）。基于它編寫的應用程序能夠以一種可靠、容錯的方式在大規模集群（數千個節點）上并行處理TB級別的海量數據集。MapReduceTask過程分為兩個處理階段：M

2021-09-13 23:00:58

Hadoop MapReduce 大數據

CDH 集群使用 JindoFS SDK 訪問 OSS

CDH 集群使用 JindoFS SDK 訪問 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是眾多Hadoop發行版本中的一種，本文以CDH 5.16.2為例介紹如何配置CDH支持使用JindoFS SDK訪問OSS。步驟 1. 安裝 jar 包下載最新的jar包 jindofs-sdk-x.x.x.jar (下載頁面)，

2021-09-13 13:38:45

0006 - Hadoop&HDFS命令指南大全

大數據夢工廠（0006Hadoop&HDFS命令指南大全）(https://mp.weixin.qq.com/s/5piYpuvjCxjaxXvnLXivQ)1Hadoop命令指南1.1archive創建一個Hadoop歸檔文件，其擴展名是.har。創建archive是一個Map/Reduce任務。Usage:hadooparchive<archiveName<NAME.har<p<parentp

2021-09-12 16:39:18

Hadoop MapReduce 大數據

上一頁 1 2 3 4 5 下一頁

51CTO技術棧公眾號

業務
速覽

媒體

51CTO CIOAge HC3i

社區

51CTO博客鴻蒙開發者社區 AI.x社區

教育

51CTO學堂精培企業培訓 CTO訓練營

主站蜘蛛池模板：成人妇女免费播放久久久 | 精品国产乱码久久久久久蜜柚 | 91精品国产综合久久婷婷香蕉 | 国产精品视频中文字幕 | 亚洲精品91 | 亚洲人人舔人人 | 伊人久久免费 | 在线国产一区二区 | 2019精品手机国产品在线 | 亚洲精品1区 | eeuss国产一区二区三区四区 | 久久久久一区 | 男人视频网站 | 欧美日韩综合一区 | 国产免费人成xvideos视频 | 亚洲91视频| www.黄色网| 亚洲一区二区中文字幕 | 日韩av福利在线观看 | 日韩视频中文字幕 | 日韩成人免费视频 | 国产色黄| 久久av一区二区三区 | 中文字幕视频三区 | 欧美日韩在线视频观看 | 亚洲国产精选 | 久久婷婷麻豆国产91天堂 | 中文字幕在线一区二区三区 | 欧美网站一区二区 | 成人综合一区二区 | 天天操欧美 | 国产精品1区2区 | 69av网| 夜夜骑av| 国产原创在线观看 | 免费在线看黄视频 | 精品美女视频在免费观看 | 色综合天天天天做夜夜夜夜做 | 日韩一级电影免费观看 | 黄色国产视频 | 一区二区三区在线观看视频 |