成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

教你如何將Pandas迭代速度加快150倍?

開發 后端
面對現實吧,Python的速度在與C語言或Go語言相比時,的確引發了不少口水戰。這讓筆者一段時間以來,一直對Python快速處理任務的能力有所懷疑。

 面對現實吧,Python的速度在與C語言或Go語言相比時,的確引發了不少口水戰。

[[316519]]

這讓筆者一段時間以來,一直對Python快速處理任務的能力有所懷疑。

目前,筆者嘗試在Go語言中進行數據科學研究——這是有可能的——但操作起來根本不像在Python中那樣令人愉快,多半是由于語言的靜態特性和數據科學大多是探索性領域。

并不是說用Go語言重寫完成的解決方案不能提高性能,但這是另一篇文章的主題。

迄今為止,筆者至少忽略了Python可以更快地處理任務這一能力。筆者一直飽受目光短淺之苦——這是一種表現為當你只看到一種解決方案時,完全忽視其他方案的存在的綜合征。相信出現這種情況的不只筆者自己。

這就是筆者今天想簡要介紹如何令Pandas每日工作速度更快且更為愉悅的原因。更準確地說,該示例將關注行之間的迭代,并在過程中執行一些數據操作。因此,事不宜遲,一起進入正題。

做一個數據集

把觀點論述清楚最簡單的方法是聲明一個單列數據框對象,其整數值范圍為1到100000:

 

教你如何將Pandas迭代速度加快150倍?

 

真的不需要任何更為復雜的東西來解決Pandas的速度問題。為驗證一切進展順利,以下是數據集的前幾行和整體形狀:

 

教你如何將Pandas迭代速度加快150倍?

 

好了,準備工作已做足,現在一起看看如何遍歷以及如何不遍歷數據框的行。首先介紹如何不進行選擇。

以下是你不應該做的事

啊,筆者一直在使用(和過度使用)如此多的iterrows()方法。它在默認情況下速度很慢,但你知道筆者費心去尋找替代方案的原因(目光短淺)。

為證明你不該使用iterrows()方法在數據框中進行遍歷,筆者會做個快速演示——聲明一個變量并將其初始設置為0——然后在每次迭代時按Values屬性的當前值進行遞增。

如果你想知道%%time魔法函數返回單元格完成所有操作所需的秒數/毫秒數。

一起看看該函數是如何運行的:

 

教你如何將Pandas迭代速度加快150倍?

 

你現在可能會想,用15秒遍歷100000行并遞增一些外部變量的值并不算多。但事實上是——請看下一部分的闡述原因。

以下是你應該做的事

現在有一個神奇的方法能進行挽救——itertuples()。顧名思義,itertuples()循環遍歷數據框的行,然后返回一個命名元組。這就是不能用括號[]訪問這些值,而是需要使用.符號的原因。

現在將演示與幾分鐘前相同的示例,但使用的是itertuples()方法:

 

教你如何將Pandas迭代速度加快150倍?

 

瞧瞧!使用itertuples()進行同樣的運算,速度快了約154倍!現在想象一下你的日常工作場景,你正在處理上百萬條行——itertuples()可以幫你節省大量時間。

在這個簡單的例子中,我們已經見識到對代碼進行的小小改動就能對整體結果產生的巨大影響。

這不意味itertuples()在每個場景下都會比iterrows()快150倍,但在某種程度上這確實意味著每次都會快一些。

感謝閱讀,希望大家有所收獲!

責任編輯:華軒 來源: 今日頭條
相關推薦

2017-05-11 11:30:43

MySQL查詢速度

2021-05-12 11:19:08

DevTools堆棧追蹤

2017-10-20 10:09:01

代碼CocoaPods編譯

2019-08-27 17:32:10

數據處理PandasPython

2017-05-10 16:09:12

MySQL數據庫查詢

2009-07-01 15:02:56

JSP程序JSP操作

2023-05-30 08:00:00

PandasQuestDBPython

2011-09-11 02:58:12

Windows 8build微軟

2021-06-23 15:45:55

神經網絡AI算法

2020-01-19 10:33:09

框架Web開發

2019-12-25 14:08:50

Pandas數據計算

2018-07-30 15:05:26

Hadoop大數據集群

2020-12-17 08:08:15

CentOS

2009-08-11 09:10:26

Windows 7系統提速

2011-08-29 17:16:29

Ubuntu

2024-07-25 08:25:35

2023-12-06 08:30:02

Spring項目

2023-06-12 00:36:28

迭代向量化Pandas

2022-04-02 14:16:43

AI人工智能首席信息官

2017-09-18 16:33:18

Windows 10Windows菜單
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产成人99久久亚洲综合精品 | 久久久av | av在线三级 | 亚洲女人天堂成人av在线 | 国产精品久久久久久久久久久久久 | 中文字幕欧美一区 | 一区二区三区日韩精品 | 精品国产欧美一区二区 | 别c我啊嗯国产av一毛片 | 久久久妇女国产精品影视 | 一区免费看 | 岛国毛片在线观看 | 国产精品久久欧美久久一区 | 亚洲综合无码一区二区 | 欧美一级视频免费看 | 欧美一区二 | 超碰520 | 日韩中文字幕av | 午夜免费av | 中文字幕高清一区 | 午夜丰满少妇一级毛片 | 夜夜骑首页 | 亚洲人va欧美va人人爽 | 亚洲经典一区 | 国产福利在线 | 精品欧美乱码久久久久久 | 福利视频一二区 | 亚洲一区视频 | 欧美乱大交xxxxx另类电影 | 欧美精品一区二区三区一线天视频 | av网站免费看 | 都市激情亚洲 | 久久国产成人精品国产成人亚洲 | 国产精品一区二区三区久久 | 国产一级片精品 | 久在线| 久久99网| 麻豆视频在线免费观看 | 成人国产精品一级毛片视频毛片 | 午夜久久av | 日韩精品久久久 |