成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數據科學中的陷阱:變量的數學運算合理嗎?

大數據
數據科學中有各種各樣的模型,有的聽起來很簡單,比如線性回歸;有點呢,聽起來就很嚇人,比如深度學習。但是不管什么樣的模型,從本質上來講,模型都是對訓練數據做數學運算,并以此求得模型參數的估計值。

數據科學中有各種各樣的模型,有的聽起來很簡單,比如線性回歸;有點呢,聽起來就很嚇人,比如深度學習。但是不管什么樣的模型,從本質上來講,模型都是對訓練數據做數學運算,并以此求得模型參數的估計值。

所以我們需要保證兩點:

  • ***,訓練數據能進行數學運算;
  • 第二,對變量所做的數學運算是合理的。

對于***點,通常只在一些特定的應用場景里才需要比較復雜的處理,比如自然語言處理、圖像識別等。

但對于第二點,幾乎所有的場景都會遇到。

這里將注重研究第二點“對變量所做的數學運算是合理的”,它表示的內涵是:對于變量,數字的運算有相應的實際意義,包括以下兩個方面:

  • 數字的大小關系。
  • 數字的四則運算。

為了更好地討論問題,將模型的自變量分類。正如前面章節所提到的,在模型里使用的變量可以分為兩類:數值型變量和類別型變量。如圖1所示。

 


圖1

數值型變量,在學術上也被稱為定量變量(quantitative variable),如長度、收入、重量等。它們的數值表示具體的測量或計數。事實上,定量變量按是否連續可進一步細分為連續型變量和離散型變量。在一定區間內可以任意取值的變量叫連續型變量,比如人的身高、體重等;反之則是離散型變量,比如公司員工人數等。對于這類變量,數字間的不等關系是有實際意義的。比如對于收入,在數學上,100小于1000;在實際生活中,100元也小于1000元。數字間的四則運算也同理,這里就不贅述了。當然由于數字的等于關系和四則運算,數值型變量常常隱含著邊際效應恒定的假設,正如我們在第5章里討論的那樣。在某些場景下,這個隱含假設與現實不符,直接使用變量會影響模型的效果。

類別型變量,也被稱為定性變量(categorical variable)。它并不是表示數量上的變化,而是表示類別。比如性別、省份、學歷、產品等級等。這類變量的取值通常是用文字而非數字來表示。比如對于性別這個變量,可能的取值為男、女。因此要將文字變量轉換為數字變量,并且保證對于轉換之后的變量,數學運算是有意義的,這并不是一件容易的事情。通常針對一個類別型變量,我們會用一個數字去表示其中的一個類別,但這樣的轉換方法并不能滿足要求:

對于有序的類別型變量,比如產品等級,0表示合格、1表示良好、2表示優秀。這種情況下,0小于1的確對應著合格等級次于良好等級,但數字間的四則運算就沒有對應意義了。數學上2減1等于1,但對于產品等級,優秀減去良好還等于良好嗎?

對于無序的類別型變量,比如對于省份,0表示北京、1表示上海、2表示深圳等。數字間的大小關系和四則運算都是沒有實際意義的。

因此,在模型里直接使用類別型變量是沒有任何道理的,也會嚴重影響模型的效果。由此可見,不管是數值型變量還是類別型變量,通常都需要根據問題場景做相應變換后,再放到模型中使用。具體的方法將在后續的文章中詳細討論。

責任編輯:未麗燕 來源: 網絡大數據
相關推薦

2018-07-12 13:47:04

數據科學變量虛擬變量

2018-05-15 08:40:40

Linux命令數學運算

2009-07-21 09:31:00

Scala數學運算邏輯操作位操作符

2025-02-24 11:16:20

2020-08-11 13:00:34

GNU bcLinuxShell

2020-09-30 14:24:58

PythonSet對象

2023-05-04 12:35:39

AI科學

2015-09-18 16:26:54

NaSC運算Ubuntu

2022-12-07 07:43:21

2019-08-18 23:10:14

數據科學算法數學

2021-02-22 17:25:19

數據科學數據技能可視化

2019-08-29 10:20:13

大數據IT互聯網

2017-07-05 16:09:25

LED智慧城市

2023-12-04 09:37:00

C++靜態變量

2019-08-27 09:34:29

數據科學統計機器學習

2024-07-31 15:11:57

SymPypython數學運算

2021-09-14 10:39:16

入侵檢測數據泄露日志文件

2019-12-13 07:58:34

數據科學數據科學家統計

2022-04-28 10:29:38

數據數據收集

2009-11-06 13:57:52

C#
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 亚洲午夜精品久久久久久app | 亚洲欧美一区二区三区在线 | 国产成人午夜精品影院游乐网 | 国产成人精品网站 | 日韩精品一区二区三区中文在线 | 久久久一区二区三区四区 | 国产精品永久久久久久久www | 日韩在线观看一区二区三区 | 视频一区二区三区四区五区 | 成人精品一区二区三区中文字幕 | 精品一区二区三区中文字幕 | 97色在线视频 | 91.xxx.高清在线 | 国产小视频在线 | 精品国产乱码久久久久久影片 | 激情综合五月 | 毛片免费在线 | 手机在线一区二区三区 | 亚洲精品区 | 亚洲一区二区在线播放 | 亚洲精品欧美一区二区三区 | 天天干精品 | 日韩一二区在线 | 亚洲精品www | av午夜电影 | 日韩毛片在线观看 | 欧美一级久久 | 狠狠综合网 | 国产高清视频一区 | 免费a大片| 日韩久久久久久 | 密室大逃脱第六季大神版在线观看 | 成人不卡 | 91视频网| 草久在线视频 | 99reav| 国产在线aa| 青青草在线播放 | 久久久久久国产一区二区三区 | 91久久综合| 久草免费福利 |