大家好，

之前介紹過不少關(guān)于pandas性能加速的技巧，但這些技巧再厲害，整體運行速度方面也會遇到瓶頸。

本篇介紹 8 個可以替代pandas的庫，在加速技巧之上，再次打開速度瓶頸，大大提升數(shù)據(jù)處理的效率。

1. Dask

Dask在大于內(nèi)存的數(shù)據(jù)集上提供多核和分布式并行執(zhí)行。

在Dask中，一個DataFrame是一個大型且并行的DataFrame，由許多較小的 pandas DataFrames組成，沿索引拆分。

這些 pandas DataFrames 可以存在于單個機器上的磁盤中計算遠(yuǎn)超于內(nèi)存的計算，或者存在集群中的很多不同機器上完成。一個 Dask DataFrame 操作會觸發(fā)所有 Pandas DataFrames 的操作。

Dask-ML支持pandas、Numpy、Sklearn、XGBoost、XArray、RAPIDS等等，對于常用的數(shù)據(jù)處理、建模分析是完全夠用的。

# 安裝dask
pip install dask
# 導(dǎo)入dask dataframe
import dask.dataframe as dd

原理、使用可參考這篇：??安利一個Python大數(shù)據(jù)分析神器Dask??！

2. Modin

Modin是一個多進(jìn)程的Dataframe庫，可以加速Pandas的工作流程。多進(jìn)程意味著，如果在多核的計算機上查詢速度就會成倍的提升。

Modin具有與pandas相同的API，使用上只需在import導(dǎo)入時修改一下，其余操作一模一樣。

# 導(dǎo)入 modin pandas
import modin.pandas as pd

原理、安裝、使用可參考這篇：??pandas慢怎么辦？來試試Modin???

3. Data Table

Datatable是一個用于處理表格數(shù)據(jù)的 Python 庫。

與pandas的使用上很類似，但更側(cè)重于速度和大數(shù)據(jù)的支持。在單節(jié)點的機器上，無論是讀取數(shù)據(jù)，還是數(shù)據(jù)轉(zhuǎn)換等操作，速度均遠(yuǎn)勝于pandas。

如果不是分布式而是單節(jié)點處理數(shù)據(jù)，遇到內(nèi)存不夠或者速度慢，也不妨試試這個庫。

•  使用文檔：https://datatable.readthedocs.io/en/latest/start/quick-start.html
  

4. Polars

Polars是使用 Apache Arrow Columnar Format 作為內(nèi)存模型在 Rust 中實現(xiàn)的速度極快的 DataFrames 庫。

# 安裝 polars
pip install polars
# 導(dǎo)入 polars
import polars as pl

•  使用文檔：https://pola-rs.github.io/polars-book/user-guide/index.html
  

5. Vaex

Vaex 也是一個開源的 DataFrame，它采用內(nèi)存映射、高效的核外算法和延遲計算等技術(shù)。

對于大數(shù)據(jù)集而言，只要磁盤空間可以裝下數(shù)據(jù)集，使用Vaex就可以對其進(jìn)行分析，解決內(nèi)存不足的問題。

它的各種功能函數(shù)也都封裝為類 Pandas 的 API，幾乎沒有學(xué)習(xí)成本。

可參考這篇文章：??0.052 秒打開 100GB 數(shù)據(jù)，這個Python開源庫火爆了??！

6. Pyspark

Pyspark 是 Apache Spark 的 Python API，通過分布式計算處理大型數(shù)據(jù)集。

# 安裝
pip install pyspark
# 導(dǎo)入
from pyspark.sql import SparkSession, functions as f
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
df = spark.read.option('header', True).csv('../input/yellow-new-yo

由于spark在速度上較hadoop更有優(yōu)勢，現(xiàn)在很多企業(yè)的大數(shù)據(jù)架構(gòu)都會選擇使用spark。

7. Koalas

Koalas 是在 Apache Spark 之上實現(xiàn) 的pandas DataFrame API，讓數(shù)據(jù)分析更高效。

由于 Koalas 是在 Apache Spark 之上運行的，因此還必須安裝 Spark。

# 安裝
pip install pyspark
pip install koalas
# 導(dǎo)入
import databricks.koalas as ks
from pyspark.sql import SparkSession

•  使用文檔：https://koalas.readthedocs.io/en/latest/index.html
  

8. cuDF

cuDF 是一個 Python GPU DataFrame 庫，基于 Apache Arrow 列式內(nèi)存格式構(gòu)建，用于數(shù)據(jù)操作。

cuDF 提供類 pandas 的 API，因此數(shù)據(jù)分析師也是無需了解 CUDA 編程細(xì)節(jié)的。

import cudf, io, requests
from io import StringIO
url = "https://github.com/plotly/datasets/raw/master/tips.csv"
content = requests.get(url).content.decode('utf-8')
tips_df = cudf.read_csv(StringIO(content))
tips_df['tip_percentage'] = tips_df['tip'] / tips_df['total_bill'] * 100
print(tips_df.groupby('size').tip_percentage.mean())

•  使用文檔：https://github.com/rapidsai/cudf
  

本篇介紹的 8 個Python庫原理不同，使用環(huán)境也有差異，大家可以根據(jù)自己的需求進(jìn)行嘗試。

但這些庫基本上都提供了類pandas的API，因此在使用上沒有什么學(xué)習(xí)成本，只要配置好環(huán)境就可以上手操作了。