從Pandas快速切換到Polars ：數(shù)據(jù)的ETL和查詢

作者：佚名 2023-04-20 16:48:22

對于我們日常的數(shù)據(jù)清理、預處理和分析方面的大多數(shù)任務，Pandas已經(jīng)綽綽有余。但是當數(shù)據(jù)量變得非常大時，它的性能開始下降。

我們以前的兩篇文章來測試Pandas 1.5.3、polar和Pandas 2.0.0之間的性能了，Polars 正好可以解決大數(shù)據(jù)量是處理的問題，所以本文將介紹如何將日常的數(shù)據(jù)ETL和查詢過濾的Pandas轉換成polars。

Polars的優(yōu)勢

Polars是一個用于Rust和Python的DataFrame庫。

Polars利用機器上所有可用的內核，而pandas使用單個CPU內核來執(zhí)行操作。
Polars比pandas相對輕量級，沒有依賴關系，這使得導入Polars的速度更快。導入Polars只需要70毫秒，而導入pandas需要520毫秒。
Polars進行查詢優(yōu)化減少了不必要的內存分配。它還能夠以流方式部分或全部地處理查詢。
Polars可以處理比機器可用RAM更大的數(shù)據(jù)集。

ETL

Extract, Transform, and Load (ETL)的過程是怎樣的:

“提取、轉換和加載(ETL)是將來自多個數(shù)據(jù)源的數(shù)據(jù)組合到稱為數(shù)據(jù)倉庫的過程。ETL使用一組業(yè)務規(guī)則來清理和組織原始數(shù)據(jù)，并為存儲、數(shù)據(jù)分析和機器學習(ML)做好準備。可以通過數(shù)據(jù)分析解決特定的業(yè)務智能需求(例如預測業(yè)務決策的結果、生成報告、減少操作效率低下，等等)。

Polars和Pandas都支持從各種來源讀取數(shù)據(jù)，包括CSV、Parquet和JSON。

df = pl.read_csv('data.csv')
 df = pl.read_parquet('data.parquet')
 df = pl.read_json('data.json')

對于數(shù)據(jù)的讀取方面和Pandas基本一致。

轉換是ETL中最重要、最困難和最耗時的步驟。

polar支持Pandas函數(shù)的一個子集，所以我們可以使用熟悉的Pandas函數(shù)來執(zhí)行數(shù)據(jù)轉換。

df = df.select(['A', 'C'])
 df = df.rename({‘A’: ‘ID’, ‘C’: ‘Total’})
 df = df.filter(pl.col('A') > 2)
 df = df.groupby('A').agg({'C': 'sum'})

這些Pandas函數(shù)都可以直接使用。

創(chuàng)建新列：

df = df.with_column(pl.col(‘Total’) / 2, ‘Half Total’)

處理空值：

df = df.fill_null(0)
 df_filled = df.fill_null('backward')
 df = df.fillna(method='ffill')

Dataframe 的合并

#pandas
 df_join = pd.merge(df1, df2, on='A')
 #polars
 df_join = df1.join(df2, on='A')

連接兩個DF

#pandas
 df_union = pd.concat([df1, df2], ignore_index=True)
 #polars
 df_union = pl.vstack([df1, df2])

polar使用與Pandas相同的函數(shù)來將數(shù)據(jù)保存到CSV、JSON和Parquet文件中。

# CSV
 df.to_csv(file)
 # JSON
 df.to_json(file)
 # Parquet
 df.to_parquet(file)

最后，如果你還需要使用Pandas做一些特殊的操作，可以使用:

df.to_pandas()

這可以將polar的DF轉換成pandas的DF。

最后我們整理一個簡單的表格：

數(shù)據(jù)的查詢過濾

我們的日常工作中，數(shù)據(jù)的查詢是最重要，也是用的最多的，所以在這里我們再整理下查詢過濾的操作。

首先創(chuàng)建一個要處理的DataFrame。

# pandas
 import pandas as pd
 
 # read csv
 df_pd = pd.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pd.head()

# polars
 import polars as pl
 
 # read_csv
 df_pl = pl.read_csv("datasets/sales_data_with_stores.csv")
 
 # display the first 5 rows
 df_pl.head()

polars首先顯示了列的數(shù)據(jù)類型和輸出的形狀，這對我們來說非常好。下面我們進行一些查詢，我們這里只顯示一個輸出，因為結果都是一樣的：

1、按數(shù)值篩選

# pandas
 df_pd[df_pd["cost"] > 750]
 df_pd.query('cost > 750')
 
 # polars
 df_pl.filter(pl.col("cost") > 750)

2、多個條件查詢

pandas和polar都支持根據(jù)多個條件進行過濾。我們可以用“and”和“or”邏輯組合條件。

# pandas
 df_pd[(df_pd["cost"] > 750) & (df_pd["store"] == "Violet")]
 
 # polars
 df_pl.filter((pl.col("cost") > 750) & (pl.col("store") == "Violet"))

3、isin

pandas的isin方法可用于將行值與值列表進行比較。當條件包含多個值時，它非常有用。這個方法的polar版本是" is_in "。

# pandas
 df_pd[df_pd["product_group"].isin(["PG1", "PG2", "PG5"])]
 
 # polars
 df_pl.filter(pl.col("product_group").is_in(["PG1", "PG2", "PG5"]))

4、選擇列的子集

為了選擇列的子集，我們可以將列名傳遞給pandas和polar，如下所示:

cols = ["product_code", "cost", "price"]
 
 # pandas (both of the following do the job)
 df_pd[cols]
 df_pd.loc[:, cols]
 
 # polars
 df_pl.select(pl.col(cols))

5、選擇行子集

pandas中可以使用loc或iloc方法選擇行。在polar則更簡單。

# pandas
 df_pd.iloc[10:20]
 
 # polars
 df_pl[10:20]

選擇相同的行，但只選擇前三列:

# pandas
 df_pd.iloc[10:20, :3]
 
 # polars
 df_pl[10:20, :3]

如果要按名稱選擇列：

# pandas
 df_pd.loc[10:20, ["store", "product_group", "price"]]
 
 # polars
 df_pl[10:20, ["store", "product_group", "price"]]

按數(shù)據(jù)類型選擇列：

我們還可以選擇具有特定數(shù)據(jù)類型的列。

# pandas
 df_pd.select_dtypes(include="int64")
 
 # polars
 df_pl.select(pl.col(pl.Int64))

總結

可以看到polar與pandas非常相似，所以如果在處理大數(shù)據(jù)集的時候，我們可以嘗試使用polar，因為它在處理大型數(shù)據(jù)集時的效率要比pandas高，我們這里只介紹了一些簡單的操作，如果你想了解更多，請看polar的官方文檔:

https://pola-rs.github.io/polars-book/user-guide/coming_from_pandas.html

責任編輯：華軒來源： DeepHub IMBA

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看