成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

燃爆！17行Python代碼做情感分析？你也可以的

作者：IT世界圈
開發 后端 數據分析
17行代碼跑最新NLP模型？你也可以！一臺可以上網的電腦，基本的python代碼閱讀能力，用于修改幾個模型參數，對百度中文NLP最新成果的濃烈興趣。

17行代碼跑最新NLP模型?你也可以!

  • 本次作者評測所需(防嚇退)
  1. 一臺可以上網的電腦
  2. 基本的python代碼閱讀能力，用于修改幾個模型參數
  3. 對百度中文NLP最新成果的濃烈興趣
  • 訓練模型：Senta情感分析模型基本簡介
  1. Senta是百度NLP開放的中文情感分析模型，可以用于進行中文句子的情感分析，輸出結果為{正向/中性/負向}中的一個，關于模型的結構細節，請查看Senta----github.com/PaddlePaddle/Paddlehub/demo/senta 
  • 本示例代碼選擇的是Senta-BiLSTM模型。
  • 模型來源：Paddlehub簡介
  1. PaddleHub是基于PaddlePaddle開發的預訓練模型管理工具，可以借助預訓練模型更便捷地開展遷移學習工作。 
  • 本次評測中只使用了預訓練模型，沒有進行fine-tune
  • 代碼運行環境：百度 AI studio
燃爆！17行Python代碼做情感分析？你也可以的

實驗代碼

  • 來自paddlehub/senta_demo.py

github：https://github.com/PaddlePaddle/PaddleHub/blob/release/v0.5.0/demo/senta/senta_demo.py

  1. from __future__ import print_function 
  2. import json 
  3. import os 
  4. import six 
  5. import paddlehub as hub 
  6. if __name__ == "__main__": 
  7.  # 加載senta模型 
  8.  senta = hub.Module(name="senta_bilstm") 
  9.  # 把要測試的短文本以str格式放到這個列表里 
  10.  test_text = [ 
  11.  "這家餐廳不是很好吃", 
  12.  "這部電影差強人意", 
  13.  ] 
  14.  # 指定模型輸入 
  15.  input_dict = {"text": test_text} 
  16.  # 把數據喂給senta模型的文本分類函數 
  17.  results = senta.sentiment_classify(data=input_dict) 
  18.  # 遍歷分析每個短文本 
  19.  for index, text in enumerate(test_text): 
  20.  results[index]["text"] = text 
  21.  for index, result in enumerate(results): 
  22.  if six.PY2: 
  23.  print( 
  24.  json.dumps(results[index], encoding="utf8", ensure_ascii=False)) 
  25.  else: 
  26.  print('text: {},    predict: {}'.format(results[index]['text'],results[index]['sentiment_key'])) 

詳細測評

成語情感分析

input

  1. test_text = [ 
  2.  '滄海桑田', # 中型，世事變化很大 
  3.  '下里巴人', # 褒義，通俗的文學藝術 
  4.  '有口皆碑', # 褒義，對突出的好人好事一致頌揚 
  5.  '危言危行', # 褒義，說正直的話，做正直的事 
  6.  '鬼斧神工', # 褒義，指大自然美景 
  7.  '不贊一詞', # 褒義，不能再添一句話，表示寫的很好 
  8.  '文不加點', # 褒義，指寫作技巧高超 
  9.  '差強人意', # 褒義，大體還能使人滿意 
  10.  '無微不至', # 褒義，指細心周到 
  11.  '事倍功半', # 褒義，指不費力就有好的效果 
  12.  '事半功倍', # 貶義，指浪費了力氣卻沒有好效果 
  13.  '蠢蠢欲動', # 貶義，指要干壞事 
  14.  '面目全非', # 貶義，指大破壞 
  15.  '江河日下', # 貶義，指事物日漸衰落 
  16.  '評頭論足', # 貶義，指小節過分挑剔 
  17.  '生靈涂炭', # 貶義，指人民極端困苦 
  18.  '始作俑者', # 貶義，第一個做壞事的人 
  19.  '無所不為', # 貶義，什么壞事都干 
  20.  '無所不至', # 貶義，什么壞事都干 
  21.  '陽春白雪', # 貶義，高深不容易理解的藝術 
  22.  ]

output

  1. 運行耗時: 4秒480毫秒 
  2. text: 滄海桑田, positive_prob: 0.3838, predict: negative # 錯誤 
  3. text: 下里巴人, positive_prob: 0.7957, predict: positive  
  4. text: 有口皆碑, positive_prob: 0.906, predict: positive 
  5. text: 危言危行, positive_prob: 0.588, predict: positive 
  6. text: 鬼斧神工, positive_prob: 0.657, predict: positive 
  7. text: 不贊一詞, positive_prob: 0.9698, predict: positive 
  8. text: 文不加點, positive_prob: 0.1284, predict: negative # 錯誤 
  9. text: 差強人意, positive_prob: 0.0429, predict: negative # 錯誤 
  10. text: 無微不至, positive_prob: 0.8997, predict: positive 
  11. text: 事倍功半, positive_prob: 0.6181, predict: positive 
  12. text: 事半功倍, positive_prob: 0.8558, predict: positive # 錯誤 
  13. text: 蠢蠢欲動, positive_prob: 0.7353, predict: positive # 錯誤 
  14. text: 面目全非, positive_prob: 0.2186, predict: negative 
  15. text: 江河日下, positive_prob: 0.2753, predict: negative 
  16. text: 評頭論足, positive_prob: 0.6737, predict: positive # 錯誤 
  17. text: 生靈涂炭, positive_prob: 0.4661, predict: neutral # 錯誤 
  18. text: 始作俑者, positive_prob: 0.247, predict: negative 
  19. text: 無所不為, positive_prob: 0.5948, predict: positive # 錯誤 
  20. text: 無所不至, positive_prob: 0.553, predict: positive # 錯誤 
  21. text: 陽春白雪, positive_prob: 0.7552, predict: positive # 錯誤 

正確率：10/20 = 50%

轉折復句情緒分析

input

  1. test_text = [ 
  2.  '小明雖然考了第一，但是他一點也不驕傲', # 積極  
  3.  '你不是不聰明，而是不認真', # 消極 
  4.  '雖然小明很努力，但是他還是沒有考100分', # 消極  
  5.  '雖然小明有時很頑皮，但是他很懂事', # 積極  
  6.  '雖然這座橋已經建了很多年，但是她依然很堅固', # 積極  
  7.  '他雖然很頑皮，但是學習很好', # 積極 
  8.  '學習不是枯燥無味，而是趣味橫生', # 積極  
  9.  '雖然很困難，但是我還是不會退縮', # 積極  
  10.  '雖然小妹妹只有5歲，但是她能把乘法口訣倒背如流', # 積極  
  11.  '雖然我很過分，但是都是為了你好', # 積極  
  12.  '小明成績不好，不是因為不聰明，而是因為不努力', # 消極  
  13.  '雖然這樣做不妥當，但已經是最好的選擇', # 積極  
  14.  '這次雖然失敗，但卻是成功的開始', # 積極 
  15.  '雖然這道題很難，但是我相信我會把它做出來', # 積極  
  16.  '雖然爺爺已經很老了，但是他還是堅持每天做運動', # 積極  
  17.  '不是沒有美，而是我們缺少發現美的眼光', # 消極  
  18.  '雖然他們有良好的生活條件，但是浪費資源遲早會帶來惡果', # 消極  
  19.  '他不是我們的敵人，而是我們的朋友', # 積極  
  20.  '他不是不會做，而是不想做', # 消極 
  21.  '雖然那個夢想看起來離我遙不可及，但是我相信經過我的努力它一定會實現', # 積極 
  22.  ] 

output

  1. 運行耗時: 2秒667毫秒 
  2. text: 小明雖然考了第一，但是他一點也不驕傲, positive_prob: 0.9598, 
  3.  predict: positive  
  4. text: 你不是不聰明，而是不認真, positive_prob: 0.0275, 
  5.  predict: negative 
  6. text: 雖然小明很努力，但是他還是沒有考100分, positive_prob: 0.7188, 
  7.  predict: positive # 錯誤 
  8. text: 雖然小明有時很頑皮，但是他很懂事, positive_prob: 0.8776, 
  9.  predict: positive 
  10. text: 雖然這座橋已經建了很多年，但是她依然很堅固, positive_prob: 0.9782, 
  11.  predict: positive 
  12. text: 他雖然很頑皮，但是學習很好, positive_prob: 0.9181, 
  13.  predict: positive 
  14. text: 學習不是枯燥無味，而是趣味橫生, positive_prob: 0.3279, 
  15.  predict: negative # 錯誤 
  16. text: 雖然很困難，但是我還是不會退縮, positive_prob: 0.3974, 
  17.  predict: negative # 錯誤 
  18. text: 雖然小妹妹只有5歲，但是她能把乘法口訣倒背如流, positive_prob: 0.5124, 
  19.  predict: neutral 
  20. text: 雖然我很過分，但是都是為了你好, positive_prob: 0.399, 
  21.  predict: negative # 錯誤 
  22. text: 小明成績不好，不是因為不聰明，而是因為不努力, positive_prob: 0.1881, 
  23.  predict: negative 
  24. text: 雖然這樣做不妥當，但已經是最好的選擇, positive_prob: 0.806, 
  25.  predict: positive 
  26. text: 這次雖然失敗，但卻是成功的開始, positive_prob: 0.4862, 
  27.  predict: neutral # 錯誤 
  28. text: 雖然這道題很難，但是我相信我會把它做出來, positive_prob: 0.3959, 
  29.  predict: negative # 錯誤 
  30. text: 雖然爺爺已經很老了，但是他還是堅持每天做運動, positive_prob: 0.9178, 
  31.  predict: positive 
  32. text: 不是沒有美，而是我們缺少發現美的眼光, positive_prob: 0.5614, 
  33.  predict: positive 
  34. text: 雖然他們有良好的生活條件，但是浪費資源遲早帶來惡果, positive_prob: 0.1086, 
  35.  predict: negative 
  36. text: 他不是我們的敵人，而是我們的朋友, positive_prob: 0.3749, 
  37.  predict: negative # 錯誤 
  38. text: 他不是不會做，而是不想做, positive_prob: 0.1247, 
  39.  predict: negative  
  40. text: 雖然那個夢想看起來離我遙不可及，但是我相信經過我的努力它一定會實現, positive_prob: 0.957, 
  41.  predict: positive 

正確率：13/20 = 65%

具體場景情緒分析

input

  1. test_text = [ 
  2.  '這車耗油很快',  
  3.  '這車開的很快', 
  4.  '這房間有一股死老鼠味道', 
  5.  '這房間有煙味', 
  6.  '他的發型像殺馬特', 
  7.  '這衣服機洗掉色', 
  8.  '這衣服穿多了起球', 
  9.  '這軟件容易閃退', 
  10.  '他打球的樣子像蔡徐坤', 
  11.  '這把20了', 
  12.  '這把可以打', 
  13.  '他射球的樣子像科比', 
  14.  '這房間的布置很有情調', 
  15.  '這酒讓人回味', 
  16.  '這衣服很酷', 
  17.  '他的側臉好像林峰', 
  18.  '五星好評', 
  19.  '以后會回購的', 
  20.  '性價比很高', 
  21.  '物美價廉', 
  22.  '這女生讓我心動' 
  23.  ] 

output

  1. 運行耗時: 2秒676毫秒 
  2. text: 這車耗油很快, positive_prob: 0.2926, predict: negative 
  3. text: 這車開的很快, positive_prob: 0.8478, predict: positive 
  4. text: 這房間有一股死老鼠味道, positive_prob: 0.0071, predict: negative 
  5. text: 這房間有煙味, positive_prob: 0.2071, predict: negative 
  6. text: 他的發型像殺馬特, positive_prob: 0.3445, predict: negative 
  7. text: 這衣服機洗掉色, positive_prob: 0.3912, predict: negative 
  8. text: 這衣服穿多了起球, positive_prob: 0.679, predict: positive # 錯誤 
  9. text: 這軟件容易閃退, positive_prob: 0.0051, predict: negative 
  10. text: 他打球的樣子像蔡徐坤, positive_prob: 0.8684, predict: positive # 錯誤 
  11. text: 這把20了, positive_prob: 0.1695, predict: negative 
  12. text: 這把可以打, positive_prob: 0.3503, predict: negative # 錯誤 
  13. text: 他射球的樣子像科比, positive_prob: 0.7263, predict: positive 
  14. text: 這房間的布置很有情調, positive_prob: 0.9519, predict: positive 
  15. text: 這酒讓人回味, positive_prob: 0.7431, predict: positive 
  16. text: 這衣服很酷, positive_prob: 0.9817, predict: positive 
  17. text: 他的側臉好像林峰, positive_prob: 0.5621, predict: positive 
  18. text: 五星好評, positive_prob: 0.9971, predict: positive 
  19. text: 以后會回購的, positive_prob: 0.6903, predict: positive 
  20. text: 性價比很高, positive_prob: 0.9799, predict: positive 
  21. text: 物美價廉, positive_prob: 0.9542, predict: positive 
  22. text: 這女生讓我心動, positive_prob: 0.956, predict: positive 

正確率：17/20 = 85%

總結，三個不同類別的測評如下所示：

 

燃爆！17行Python代碼做情感分析？你也可以的

總結

1.模型計算耗時較小，使用體驗不錯。

2.成語情感分析方面，我專門挑選的是一些比較難從字面理解的，容易混淆情感的成語(比如差強人意被判定為消極)，這些也是高考常考的內容。雖然最后模型正確率只有一般，但是我認為是可以接受的，適當增加成語語句作為訓練語料會使模型"更懂"中文。

大家有興趣的可以試一試一些比較容易從字面理解情感的成語，我覺得得分會比本次評測的結果要好。

3.轉折語句情感分析本身也是對模型的一種挑戰，實測效果為65分，個人覺得模型對于像“但是”，“雖然”這樣的詞語沒有足夠的attention，因為這些轉折詞背后的語義往往才是最影響整個句子的情感的，最終評分65分，個人認為模型在這方面表現一般。

4.評分最好看的是具體場景情感分析，大概預訓練語料中有大量的淘寶評價?像殺馬特 20 科比 這些小字眼是判定情感的關鍵，而模型也確實捕捉到并判斷出來了，這點比較讓我驚喜。

責任編輯：未麗燕 來源： 今日頭條
Python情感分析NLP
相關推薦

2017-05-15 14:00:28

大數據Python情感極性分析

2010-08-11 10:58:06

AndroidAndroid NDK

2019-01-15 14:41:06

數據分析新聞聯播統計分析

2020-08-05 11:53:41

數據代碼自動化

2017-12-20 09:52:50

2019-02-14 13:37:35

CPU故障芯片

2018-06-19 08:35:51

情感分析數據集代碼

2020-05-15 15:28:51

爬蟲Python學習

2019-06-26 08:37:23

Python數據處理編程語言

2012-08-14 09:20:00

Python

2022-02-23 14:37:48

代碼Pythonbug

2014-12-18 09:49:31

代碼

2020-03-20 15:10:09

Python錯誤分析代碼

2016-09-30 01:04:45

數據分析數據

2015-12-25 15:16:28

開源github開源項目

2021-04-29 22:38:04

Python數據庫SQL

2021-04-30 15:34:23

Python 開發編程語言

2015-03-20 14:51:09

Testin云測

2021-01-24 16:00:22

Ansible系統運維

2016-03-28 10:19:54

代碼智慧人類
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 国产一区二区视频免费在线观看 | 日韩色在线 | 黄色成人国产 | 国产精品久久久久久一区二区三区 | 成人免费视频 | 91在线一区 | 亚洲精品国产偷自在线观看 | 一区二区视频在线观看 | 四虎永久| 日韩综合一区 | 亚洲一区二区三区久久 | 日韩中文字幕视频 | 久久国产区 | 欧美日韩精品区 | 97伦理最新伦理 | 夜夜爆操| 91看片在线观看 | 精品一区二区在线观看 | 久久国产精品视频 | 最新免费av网站 | 欧美亚洲日本 | 欧美在线视频网 | 九九热九九 | 欧美一区二区综合 | 久久久国产一区二区 | 国产网站在线免费观看 | 欧美一级做a爰片免费视频 国产美女特级嫩嫩嫩bbb片 | 91欧美| 男人天堂99| 国产伦一区二区三区视频 | 精品国产乱码久久久久久影片 | 天天爽天天操 | 亚洲欧美日韩在线不卡 | 久久久久久国产精品免费免费 | 国产精品99视频 | 国产视频第一页 | 国产美女福利在线观看 | 久久久久国产 | 亚洲一区在线日韩在线深爱 | 国产精品中文字幕一区二区三区 | 午夜综合 |