成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

我用Python做了六百萬字的歌詞分析,告訴你中國Rapper都在唱些啥

開發 后端
為了解答這個疑問,我用 Python 抓取了美英、臺灣、香港、中國大陸四個地區,總共六千萬的歌詞,其中包括大陸 600 萬的歌詞,做了一些數據分析的工作,目的就是給我以及像我一樣的吃瓜群眾們一個有理有據的答案。

《中國有嘻哈》火了,作為一名對中國 HipHop 毫無了解的吃瓜群眾,我開始好奇以下三個問題:

HipHop 到底在唱些什么?

各個國家和地區的 Rapper 們想要說的唱的都有哪些特色?

如果想當一個 Rapper,我應該怎樣寫詞才能緊跟潮流又不會離題太遠?

[[199865]]

為了解答這個疑問,我用 Python 抓取了美英、臺灣、香港、中國大陸四個地區,總共六千萬的歌詞,其中包括大陸 600 萬的歌詞,做了一些數據分析的工作,目的就是給我以及像我一樣的吃瓜群眾們一個有理有據的答案。

[[199866]]

我的數據源選了 X 米音樂,寫了好一會代碼,抓取歌詞的爬蟲開始蹭蹭工作了:

爬蟲一般會面對兩個問題:

1.代理問題

頻繁地抓取網站的頁面,IP 很容易被封。于是寫了個抓免費代理的爬蟲,抓了八百多個代理 IP,夠用了。

2.效率問題

10 萬首歌,即使是 1 秒一個請求,那得 27 個小時,我可等不了 27 個小時。

于是我決定開 10 個線程,三小時程序就能跑完。

……

然后在三小時之后,我收獲一個約 100M,49419 首歌的數據庫。

接下來,就是一些數據清洗、處理、分析的工作。

[[199868]]

蝦米的歌詞都是用戶編輯上傳的,格式不適用數據分析,所以我得把無用的符號、編曲、作詞之類的信息除去(格式統一有多么重要啊朋友們),然后中英文各自分詞。

英文需要去停詞(對數據分析無用的詞,一般沒有實際含義,如 is、on、at、which),大小寫變換,以及詞形變換。英語中詞匯有單復數、各種時態,為了易于分析,需要還原為詞干。

另外不管是中文還是英文都需要詞性標注,一般來說分析也就分析名詞和形容詞,這些使用現成的開源庫(此處省去 1000 萬字)。

總之,我都搞定了,我們先看看以下的分析結果。

1.大陸 Rapper 歌詞里的關鍵詞

“世界”和“時間”占據首位,“老子”、“兄弟”、“baby”、“money”、“bitch”、“real”等詞倒是讓 Rapper 的形象呼之欲出。

Rapper 的詞里頻繁提到“音樂”、“歌詞”、“旋律”、“歌曲”,可見他們對自己的音樂非常在乎。嘻哈音樂由于有 Freestyle 的文化,對親自寫詞有要求,否則就不“ real ”,從節目中他們對偶像 Rapper 的 diss 也能看出來。

接著,我們來看看與其他幾個地區的關鍵詞對比:

看起來 Rapper 的生活差不多,無論大陸還是臺灣,都喜歡喊“baby”,身邊都有一群“兄弟”和“朋友”,有“夢想”,平時都在唱“hip hop”,有“煩惱”了就罵罵街。

亮點是美國的關鍵字 Top1 是“nigga”,這個和帶有種族歧視意味的“nigger”還不是一個詞。關于這個 Tupac 有過一個有意思的定義。

nigger : a black man with a slavery chain around his neck。(黑奴)

[[199869]]

nigga : a black man with a gold chain on his neck。(金鏈黑漢子)

[[199870]]

美國 rapper fetty wap

接下來,為了了解 Rapper 的生活狀況,我開始分析一些常見詞匯在歌詞中出現的頻率。饒舌歌手們的生活想必少不了豪車,出門騎摩拜可能有被開除 rap 籍的風險。

感謝維基提供汽車品牌頁面,并且很貼心的分了英語名稱、中國大陸譯名,于是我又寫了個爬蟲把品牌名稱抓下來,然后統計數據庫中每個品牌出現的頻率。

這是各汽車品牌在國內 16284 首嘻哈歌曲中出現的情況,在一首歌的歌詞中出現算一次,總共約有 400 多首歌中出現至少一次汽車的品牌名字。

可以看出,饒舌歌手喜歡寶馬和奔馳的很多,特點只有一個,就是貴!其實夏利、桑塔納等車也有不少歌提到,但一般表達的是消極情緒。

2.Rapper 們都喝什么

紅色是國內饒舌歌手的數據,黃色是總數據

看來饒舌歌手不那么喜歡喝威士忌,排在威士忌前面的還分別有龍舌蘭、白蘭地、朗姆酒,限于圖表大小我沒將這幾個列入圖表。

香檳作為富有的象征,遙遙領先,不過國內的饒舌歌手似乎處于消費尚未升級的水平,啤酒排在首位。外國人比較喜歡金酒,國內的饒舌歌手幾乎沒提到,雖然金酒一般用來調雞尾酒,但是雞尾酒提到的次數也是少得可憐。

饒舌歌手喜歡互相 diss(懟),所以他們 diss 時會罵些啥?讓我們來看看他們都罵了什么臟話。

這個統計有個小插曲,第一次統計發現一個中文臟話都沒有,還以為凈網運動成功了,結果發現分詞的詞庫里壓根就沒臟話的詞匯,重新手動加入詞庫后就好了。

(左邊是所有數據的出現次數,右邊是大陸說唱的出現次數)

大陸 16284 首歌有 2496 首出現臟話,臟話率約為 15%,而非大陸的數據中,33134 首歌有 13217 首出現臟話,臟話率約為 40%。

總的來看,我國歌手比較符合社會主義核心價值觀。我試著把“damn”和“shit”這兩個不那么“臟”并且口語常見的詞在國外的統計中去掉,最后臟話率還有 33%,比例遠遠高于大陸。

一個推測是,英文臟話詞匯在歌詞中更容易押韻,或者唱起來 flow 更好把握。另一個可能是審查原因,早有“in3”這樣的樂隊因為歌詞原因被禁,國內的 Rapper 創作起來可不能太奔放。

3.Rap 里的押韻

[[199871]]

在《中國有嘻哈》中我們看到有單押、雙押、三押,各種層出不窮的押韻。旋律、押韻、節奏是說唱歌曲三個很重要的評判標準,一個好的押韻,能讓歌曲的 flow 更加流暢。

那么我們怎么才能唱出酷酷的押韻呢?我從歌詞庫中取出所有歌詞,分詞,然后根據韻母、聲調分類,然后得到了一個押韻詞匯文件。

韻腳的分布挺有趣的,我統計了一下出現前十的兩字詞語韻腳:

可以看出,i i 這個韻腳是最容易押韻的。下圖的這個韻腳的部分詞匯,比如“勢利”,“世紀”,“日志”,“秘密”……

看著這些詞匯,我就情不自禁 rap 起來了,drop the beat!

雙押 x9 達成!以上應該能告訴你中國到底有什么樣的嘻哈了。

責任編輯:武曉燕 來源: 摩登天空雜志
相關推薦

2013-06-24 11:40:00

Facebook用戶信息泄露

2017-08-21 10:05:57

Python影評 爬蟲

2015-10-21 13:17:50

2019-01-18 20:36:40

Python佩奇turtle

2019-06-06 10:13:38

數據分析五月天數據

2014-05-12 13:31:22

2021-01-18 08:40:41

年薪阿里團隊

2021-09-06 11:57:30

Python

2021-04-27 09:33:41

Python北京景點

2019-11-04 15:22:28

Python區塊鏈數據

2018-11-06 13:24:27

爬蟲分析房租

2011-06-20 09:43:44

程序員

2015-10-26 10:22:49

微信騰訊用戶行為

2021-09-26 20:22:58

5GAI技術

2020-06-22 08:41:34

JS語言代碼

2015-11-02 09:38:22

顏值外貌美女

2016-04-29 15:51:51

大數據數據運算技術紅顏

2020-12-30 09:18:46

JVM內部信息

2011-05-10 17:38:35

DBA面試

2015-09-21 14:22:43

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日本精品视频一区二区 | 成人欧美一区二区三区1314 | 午夜精品久久 | 亚洲一区亚洲二区 | 国产做a爱片久久毛片 | 亚洲成人精品久久 | 久久久久久国产一区二区三区 | 国产黄色免费网站 | 91色视频在线观看 | 不卡av电影在线播放 | 99久久精品免费看国产免费软件 | av一区在线观看 | 91免费在线视频 | 国产精品视频一区二区三区 | 综合久久久久 | 日韩欧美国产一区二区三区 | 亚洲福利网 | 日韩免费av一区二区 | 婷婷成人在线 | 成人免费网视频 | 国产成人福利在线 | 久久久久久久久久久久久久久久久久久久 | 国产精品亚洲成在人线 | 久久久91 | 国产欧美一区二区三区久久手机版 | 97超碰人人| 波多野结衣一区二区三区在线观看 | 亚洲精品一区二三区不卡 | 日本午夜在线视频 | 精品国产乱码久久久久久中文 | 日本三级在线网站 | 亚洲欧美国产毛片在线 | aaaaaaa片毛片免费观看 | 日韩欧美国产精品一区二区三区 | 亚洲精品视频在线播放 | 性国产xxxx乳高跟 | 国产成人免费 | 日韩欧美专区 | 日韩中文字幕视频 | 亚洲第一网站 | 中文字幕乱码视频32 |