成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

配置了 RocksDB,Flink 中所有狀態數據都會存在 RocksDB 嗎?

開發 架構
在說背景前,先說一下標題的結論:你配置的 rocksdb 只會影響 flink 任務中 keyed state 存儲的方式和地方,flink 任務中的 operator state 不會受到影響。

[[439893]]

1.大家首先要知道的一些背景

在說背景前,先說一下標題的結論:你配置的 rocksdb 只會影響 flink 任務中 keyed state 存儲的方式和地方,flink 任務中的 operator state 不會受到影響。

狀態:狀態就是用戶在程序中使用的數據結構。比如 flink 中的 MapState,ValueState,ListState。在一個 flink 任務中,不管我們使用了多少狀態,這些狀態只會分為 operator state,keyed state 兩類狀態。

狀態管理:為了防止 long run 的 flink 任務掛了導致狀態丟失,產生數據質量問題,flink 提供了狀態管理(Checkpoint,Savepoint)的能力把我們使用的狀態給管理起來,定時的保存到遠程。然后可以在 flink 任務 failover 時,從遠程把狀態數據恢復到 flink 任務中,保障數據質量。

狀態后端:狀態后端就是決定了以什么樣數據結構,什么樣的存儲方式去存儲和管理我們的狀態。flink 目前官方提供了 memory、filesystem,rocksdb 三種狀態后端來存儲我們的狀態。

2.在配置不同的狀態后端時,到底對 flink 任務有什么影響

其實所有的內容都濃縮到了這樣圖中:

sql 開發

橫向(行)來看,分為 Operator state-backend、Keyed state-backend 來管理一個 flink 任務中的所有狀態(operator state,keyed state)

縱向(列)來看,用戶可以通過配置 memory,filesystem,rocksdb,在 flink 任務中生成 MemoryStateBackend,FsStateBackend,RocksdbStateBackend,其聲明了整個任務的狀態管理后端類型

每個格子中的內容就是用戶在配置 xx 狀態后端(列)時,給用戶使用的狀態(行)生成的狀態后端實例,生成的這個實例就是用于管理用戶使用的狀態的。

那么可以得到的結論就是:

 

  • flink 任務中的 operator state。無論用戶配置哪種狀態后端(無論是 memory,filesystem,rocksdb),都是使用 DefaultOperatorStateBackend 來管理的,狀態數據都存儲在內存中。
  • flink 任務中的 keyed state,會有不同。用戶在配置 rocksdb 時,會使用 RocksdbKeyedStateBackend 去管理狀態;用戶在配置 memory,filesystem 時,會使用 HeapKeyedStateBackend 去管理狀態。
  • 那么也就是說,你配置的 rocksdb 只會影響 keyed state 存儲的方式和地方,operator state 不會受到影響。

 

責任編輯:武曉燕 來源: 大數據羊說
相關推薦

2018-03-07 13:21:26

RocksDB數據存儲

2024-12-12 09:24:28

RocksDB服務器

2022-08-31 08:04:08

Ceph配置選項

2023-12-06 21:44:28

RocksDBvivo

2018-02-07 16:05:59

MySQLMyRocksRocksDB

2011-12-12 13:17:21

云計算

2014-05-13 14:11:36

GoRedis

2024-07-02 12:25:01

2010-09-02 14:36:44

Linux命令行

2024-04-12 10:01:07

MySQL事務I/O

2010-05-07 15:48:38

Oracle數據庫

2022-06-27 16:12:48

CSS像素前端

2009-03-02 16:52:59

SQL數據庫開發

2021-09-05 07:55:36

Lsm核心實現

2023-05-10 08:29:28

Spring配置原理

2017-07-07 11:28:24

大數據大數據技術

2010-09-09 14:17:42

2018-06-14 15:22:54

大數據數據分析職業

2015-07-29 10:54:58

Java 8包列表

2023-10-20 13:18:05

Flink數據
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 亚洲欧美中文日韩在线v日本 | 日韩av网址在线观看 | 国产在线一区二区三区 | 一级做a爰片久久毛片 | 在线观看 亚洲 | 久久久精品一区二区三区 | 中文字幕日韩一区二区 | 在线一区 | 成人在线中文 | 大伊人久久 | 欧美激情久久久 | 久久三区| 99国产精品视频免费观看一公开 | 亚洲精品黄色 | 亚洲国产乱码 | 99热热| 一区二区三区亚洲 | 亚洲欧洲精品一区 | 日韩欧美一区在线 | 最新日韩在线视频 | 欧美一区二区三区在线视频 | 日本精品久久久久久久 | 一区二区三区视频在线 | 91在线精品一区二区 | 日韩国产中文字幕 | 91成人免费看片 | 一区二区精品电影 | 欧美日韩三级在线观看 | av影片在线 | 中文字幕日本一区二区 | 日本特黄a级高清免费大片 特黄色一级毛片 | 久久性色 | 久久久高清 | 二区精品 | 精品久久香蕉国产线看观看亚洲 | 一区二区在线不卡 | 国产九九九九 | 久久涩涩 | 一本一道久久a久久精品蜜桃 | 91麻豆精品国产91久久久更新资源速度超快 | 亚洲欧美在线一区 |