成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

使用Dask在Python中進行并行計算

開發 后端
關于 Python 性能的一個常見抱怨是全局解釋器鎖(GIL)。由于 GIL,同一時刻只能有一個線程執行 Python 字節碼。因此,即使在現代的多核機器上,使用線程也不會加速計算。

[[262844]]

 Dask 庫可以將 Python 計算擴展到多個核心甚至是多臺機器。

關于 Python 性能的一個常見抱怨是全局解釋器鎖(GIL)。由于 GIL,同一時刻只能有一個線程執行 Python 字節碼。因此,即使在現代的多核機器上,使用線程也不會加速計算。

但當你需要并行化到多核時,你不需要放棄使用 Python:Dask 庫可以將計算擴展到多個內核甚至多個機器。某些設置可以在數千臺機器上配置 Dask,每臺機器都有多個內核。雖然存在擴展規模的限制,但一般達不到。

雖然 Dask 有許多內置的數組操作,但舉一個非內置的例子,我們可以計算偏度

  1. import numpy
  2. import dask
  3. from dask import array as darray
  4.  
  5. arr = dask.from_array(numpy.array(my_data), chunks=(1000,))
  6. mean = darray.mean()
  7. stddev = darray.std(arr)
  8. unnormalized_moment = darry.mean(arr * arr * arr)
  9. ## See formula in wikipedia:
  10. skewness = ((unnormalized_moment - (3 * mean * stddev ** 2) - mean ** 3) /
  11. stddev ** 3)

請注意,每個操作將根據需要使用盡可能多的內核。這將在所有核心上并行化執行,即使在計算數十億個元素時也是如此。

當然,并不是我們所有的操作都可由這個庫并行化,有時我們需要自己實現并行性。

為此,Dask 有一個“延遲”功能:

  1. import dask
  2.  
  3. def is_palindrome(s):
  4. return s == s[::-1]
  5.  
  6. palindromes = [dask.delayed(is_palindrome)(s) for s in string_list]
  7. total = dask.delayed(sum)(palindromes)
  8. result = total.compute()

這將計算字符串是否是回文并返回文的數量。

雖然 Dask 是為數據科學家創建的,但它絕不僅限于數據科學。每當我們需要在 Python 中并行化任務時,我們可以使用 Dask —— 無論有沒有 GIL。

 

責任編輯:龐桂玉 來源: Linux中國
相關推薦

2025-05-06 07:15:00

Dask并行計算大數據

2023-07-10 13:51:45

測試并行計算框架

2011-04-20 17:15:21

并行計算

2011-04-21 09:13:14

并行計算

2012-08-17 09:32:52

Python

2021-08-27 14:36:01

主題建模BerTopic

2010-03-22 14:45:40

云計算

2024-10-21 16:54:43

NumPyPython并行計算

2018-03-13 12:51:12

Python數據函數

2018-06-07 15:58:52

Python函數數據

2021-06-01 05:51:37

云計算并行計算分布式計算

2020-03-07 18:00:17

logzeroPython日志記錄

2009-12-18 09:38:27

.NET 4.0并行計

2023-10-18 18:31:04

SQL查詢數據

2023-08-02 08:02:30

Redis數據原生方法

2010-03-19 17:23:45

云計算

2014-04-24 10:25:15

2020-06-30 08:23:00

JavaScript開發技術

2014-01-21 11:16:59

MPI并行計算

2009-06-22 10:29:11

集成測試Spring
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产精品久久久 | 精品久久久久久亚洲精品 | 欧洲一区二区三区 | 黄色在线免费观看 | 欧美一级一区 | 天天爽夜夜骑 | 欧美日产国产成人免费图片 | 欧美亚洲激情 | 欧美视频 亚洲视频 | 国产视频中文字幕在线观看 | 午夜精品在线观看 | 国产资源一区二区三区 | 天天人人精品 | 日韩成人在线观看 | 一区二区免费 | 在线亚洲一区二区 | 国产精品视频 | 国产区在线观看 | 色噜噜色综合 | 久久久久久高潮国产精品视 | 色噜噜亚洲男人的天堂 | 国产精品一区二区在线 | 99reav| 国产成人精品999在线观看 | 夜夜草导航 | 日韩视频区 | 伊人网综合在线观看 | 国产精品精品视频一区二区三区 | www.4hu影院| 日韩成年人视频在线 | 久久爆操 | 9999视频| 亚洲福利在线视频 | 国产精品视频免费看 | 天天干天天谢 | 国产精品国产精品国产专区不蜜 | 亚洲国产aⅴ成人精品无吗 欧美激情欧美激情在线五月 | 国产不卡视频在线 | 欧美日韩精品一区 | 黄色毛片免费看 | 国产精品成人一区二区三区夜夜夜 |