成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數據科學異常值檢測原理之經驗法則

大數據
數據樣本符合標準正態分布,正態分布的核心是中心極限定理即:如果一個事物受到多種因素的影響,不管每個因素本身是什么分布,它們加總后,結果的平均值就是正態分布。

前提:

數據樣本符合標準正態分布,正態分布的核心是中心極限定理即:如果一個事物受到多種因素的影響,不管每個因素本身是什么分布,它們加總后,結果的平均值就是正態分布。如果要符合正態分布則這些因素必須彼此獨立,彼此不獨立的各項因素會互相加強影響,那么就構不成正態分布。(還有對數正態分布是指各種因素對結果的影響不是相加,而是相乘)

經驗法則原理:

標準正態分布下的曲線為鐘型曲線,期望值μ決定了其位置,其標準差σ決定了分布的幅度。當μ = 0,σ = 1時的正態分布是標準正態分布。因此對于一組數據,如果符合正態分布,則可以通過經驗法則來檢測異常值,同圖中可以發現,68.2%的測量值落在μ值處正負一個標準差σ的區間內,95.4%的測量值將落在μ值處正負兩個標準差σ的區間內,99.7%的值落在μ值處正負三個標準差σ的區間內。因此,對于一組符合正態分布的數據,如果某個值距離μ值超過三個標準差σ則可以判斷這個值屬于異常數據。

數據科學異常值檢測原理—經驗法則

計算步驟:

μ值:μ是遵從正態分布的隨機變量的均值,由于前提是各種因素對結果的影響為相加,因此μ值的計算可以為樣本數據的算術平均值。

標準差σ:所有數據減去其平均值的平方和,所得結果除以該組數之個數N(數據集為總體數據情況,一般用于大數據算法)或者個數N減1(數據集為樣本數據情況,認為數據集不是總體數據而是總體數據的一部分,一般用于統計學),再把所得值開根號,所得之數就是這組數據的標準差。

數據科學異常值檢測原理—經驗法則

判斷邏輯:計算μ+3σ,μ-3σ,當單個數據大于μ+3σ或者小于μ-3σ時,認為此數據為異常值,因為按照經驗法則,此數據在數據集的99.7%范圍外。

 

責任編輯:未麗燕 來源: 阿里云棲社區
相關推薦

2018-08-16 10:05:07

2018-09-17 15:30:05

機器學習密度異常值

2024-01-25 08:00:00

機器學習異常值檢測方法

2022-09-22 15:42:02

機器學習異常值工具

2019-09-09 15:28:04

數據科學帕累托法則工具

2022-09-21 23:41:40

機器學習開源數據

2020-09-04 16:17:15

數據科學離群點檢測

2011-07-07 18:15:41

軟件開發

2010-11-24 09:15:02

JavaScriptWeb開發者

2020-11-02 13:44:35

算法數據科學Python

2009-12-22 16:03:03

WCF異常

2020-12-06 15:42:22

數據科學家數據科學人工智能

2020-06-16 13:32:02

數據科學家大數據系統

2019-01-23 09:36:02

數據科學項目數據科學數據科學家

2013-05-06 10:45:34

數據科學家數據分析

2009-07-30 18:32:42

2021-09-14 10:39:16

入侵檢測數據泄露日志文件

2017-04-07 10:11:42

AR教育經驗

2019-09-11 09:04:47

編程語言代碼程序

2021-01-15 12:22:35

異常檢測工具
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产精品久久久久久久久久久久久久 | 久久成人免费观看 | 国产精品久久久久免费 | 日韩成人在线播放 | 黄色毛片黄色毛片 | 成人亚洲精品 | 日韩一区二区三区视频 | 黄色片网站国产 | 久久精品 | 亚洲a毛片 | 久久中文字幕在线 | 国产成人精品免高潮在线观看 | 国产精品久久久久久一级毛片 | 久久www免费人成看片高清 | 国产精品视频久久久久 | 日韩一区二区av | 91亚洲视频在线 | 国产色| 91亚洲精华国产 | 亚洲大片一区 | 亚洲精品第一国产综合野 | 天天夜天天操 | 日本天天操 | 日韩毛片| 97国产精品视频 | 午夜激情视频在线 | 日韩在线视频免费观看 | 日本aa毛片a级毛片免费观看 | 国产日韩精品在线 | 中文字幕一区在线 | 久久精品一二三影院 | 亚洲成人三区 | 国内精品久久久久 | 在线成人免费视频 | 日韩精品在线免费观看 | 91精品国产91久久久久久吃药 | 精品videossex高潮汇编 | 日韩欧美精品 | 国产精品久久网 | 福利精品在线观看 | 亚洲一区二区三区免费 |