成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數倉緩慢變化維SCD深度講解

大數據
維度緩慢變化維SCD(Slowly Changing Dimensions)一些維度表的數據不是靜態的,而是會隨著時間而緩慢地變化把處理維度表數據歷史變化的問題,稱為緩慢變化維問題,簡稱SCD問題。

[[373665]]

前言

維度緩慢變化維SCD(Slowly Changing Dimensions)一些維度表的數據不是靜態的,而是會隨著時間而緩慢地變化(這里的緩慢是相對事實表而言,事實表數據變化的速度比維度表快,如果還不知道什么是事實表和維度表請看→數倉模型設計詳細講解)把處理維度表數據歷史變化的問題,稱為緩慢變化維問題,簡稱SCD問題。

舉例說明

例如:用根據用戶維度,統計不同出生年份的消費金額占比。(80后、90后、00后)。而期間,用戶可能去修改用戶數據,例如:將出生日期改成了 1992年。此時,用戶維度表就發生了變化。當然這個變化相對事實表的變換要慢。但這個用戶維度表的變化,就是緩慢變化維。

這個用戶的數據不是一直不變,而是有可能發生變化。例如:用戶修改了出生日期、或者用戶修改了住址。

一、SCD問題的幾種解決方案

以下為解決緩慢變化維問題的幾種辦法:

  • 保留原始值
  • 改寫屬性值
  • 增加維度新行
  • 增加維度新列
  • 添加歷史表

1.1 保留原始值

某一個屬性值絕不會變化。事實表始終按照該原始值進行分組。例如:出生日期的數據,始終按照用戶第一次填寫的數據為準

1.2 改變屬性值

對其相應需要重寫維度行中的舊值,以當前值替換。因此其始終反映最近的情況。

當一個維度值的數據源發生變化,并且不需要在維度表中保留變化歷史時,通常用新數據來覆蓋舊數據。這樣的處理使屬性所反映的中是最新的賦值。

用戶維度表 修改前:

修改后:

  • 這種方法有個前提,用戶不關心這個數據的變化
  • 這樣處理,易于實現,但是沒有保留歷史數據,無法分析歷史變化信息

1.3 增加維度新行

數據倉庫系統的目標之一是正確地表示歷史。典型代表就是拉鏈表

保留歷史的數據,并插入新的數據。

用戶維度表 修改前:圖片修改后:

1.4 增加維度新列

用不同的字段來保存不同的值,就是在表中增加一個字段,這個字段用來保存變化后的當前值,而原來的值則被稱為變化前的值。總的來說,這種方法通過添加字段來保存變化后的痕跡。

用戶維度表 修改前:

修改后

1.5 使用歷史表

另外建一個表來保存歷史記錄,這種方式就是將歷史數據與當前數據完全分開來,在維度中只保存當前最新的數據。用戶維度表

用戶維度歷史表

這種方式的優點是可以同時分析當前及前一次變化的屬性值,缺點是只保留了最后一次變化信息。

思考

我在這里給大家提個場景題,比如我們在淘寶上購買一件商品,從下單-支付-發貨-配送-確認收貨這個幾步流。需求:統計出在發送到配置過程中轉了幾次?

小結

今天給大家分享了SCD解決方案,但是其實以上的解決方案不是很好,其實數倉有一個非常好的解決緩慢變化維拉鏈表既保留了歷史數據又不會造成數據冗余,拉鏈表我們下期講。信自己,努力和汗水總會能得到回報的。我是大數據老哥,我們下期見。

本文轉載自微信公眾號「大數據老哥」,可以通過以下二維碼關注。轉載本文請聯系大數據老哥公眾號。

 

責任編輯:武曉燕 來源: 大數據老哥
相關推薦

2021-01-04 05:42:48

數倉模型設計

2009-01-19 16:15:05

緩慢變化維數據倉庫解決方案

2021-01-31 23:54:23

數倉模型

2022-08-22 17:46:56

虛擬數倉Impala

2010-02-07 15:29:41

Android問題

2010-05-05 16:05:36

Unix cfengi

2022-07-26 15:38:58

數據倉數據治理數據團隊

2023-01-03 17:43:39

網易郵箱數倉

2009-09-15 10:16:01

LINQ動態查詢

2010-05-04 13:42:18

Unix打印系統

2010-04-26 10:03:17

2022-03-01 17:16:16

數倉建模ID Mapping

2021-12-02 08:41:30

數倉建模設計

2025-06-11 02:45:00

2023-11-23 16:53:56

數據倉庫大數據

2022-01-13 10:45:48

數倉對象主題域

2022-02-18 09:02:04

數據倉庫治理

2023-08-07 01:25:39

2021-08-11 07:53:22

數倉維度建模

2022-12-08 10:16:58

數據模型
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 久久99精品国产 | 成人福利电影 | 欧美极品在线 | 男人天堂手机在线视频 | 精品av | 综合久久色 | 久久在线视频 | 91精品国产777在线观看 | 中文天堂在线一区 | 亚洲三区在线观看 | 久久精品av麻豆的观看方式 | 久久久久久国产精品 | 91精品国产一区二区三区动漫 | 久久精品国产99国产 | 天天操夜夜操免费视频 | 免费成人高清在线视频 | 国产aⅴ精品 | www.干| 亚洲天堂av在线 | 久久久久国产 | 亚洲精品自在在线观看 | 免费看的黄网站 | 中文字幕成人av | 午夜免费影视 | 亚洲国产视频一区 | 中文字幕 在线观看 | 欧美一区二区三区视频 | 人妖videosex高潮另类 | 亚洲a网 | 日韩精品一区二区三区在线观看 | 亚洲精品久久久久久一区二区 | 欧美涩 | 久久精品国产99国产精品 | 国产精品成人久久久久 | 日韩在线观看 | 一区二区三区四区电影视频在线观看 | 亚洲精品欧美精品 | 四虎海外 | 成人午夜网站 | 国产有码 | 欧美一级欧美三级在线观看 |