使用PandaSQL在Pandas中進(jìn)行SQL查詢
一、簡介
SQL是開發(fā)者最重要的技能之一。在Python數(shù)據(jù)分析生態(tài)中，Pandas的使用最為廣泛。但是，如果不熟悉Pandas，則必須學(xué)習(xí)Pandas函數(shù)（分組、聚合、連接等）。相比之下，使用SQL查詢數(shù)據(jù)幀更加容易。Pandasql庫正好可以滿足需求！
【Pandasql項(xiàng)目主頁】：https://pypi.org/project/pandasql/
圖片
二、Pandasql的初始步驟
設(shè)置工作環(huán)境。
2.1 安裝Pandasql
如果使用的是Google Colab，可以使用pip來安裝Pandasql并進(jìn)行相關(guān)代碼編寫：
pip install pandasql如果在本地機(jī)器上使用Python，請(qǐng)確保在專門為該項(xiàng)目創(chuàng)建的虛擬環(huán)境中安裝了Pandas和Seaborn。可以使用內(nèi)置的venv軟件包創(chuàng)建和管理虛擬環(huán)境。
本文在Ubuntu LTS 22.04上運(yùn)行Python 3.11。因此，以下說明適用于Ubuntu（在Mac上也同樣適用）。如果使用的是Windows機(jī)器，請(qǐng)按照以下說明來創(chuàng)建和激活虛擬環(huán)境。
在項(xiàng)目目錄中運(yùn)行以下命令創(chuàng)建虛擬環(huán)境（此處命名為v1）：
python3 -m venv v1然后激活虛擬環(huán)境：
source v1/bin/activate現(xiàn)在安裝Pandas、Seaborn和Pandasql：
pip3 install pandas seaborn pandasql注意：如果尚未安裝pip，可以通過運(yùn)行apt install python3-pip更新系統(tǒng)軟件包并安裝它。
2.2 sqldf函數(shù)
要在Pandas數(shù)據(jù)幀上運(yùn)行SQL查詢，可以使用以下語法導(dǎo)入并使用sqldf：
from pandasql import sqldf
sqldf(query, globals())其中：
- query表示想要在Pandas數(shù)據(jù)幀上執(zhí)行的SQL查詢語句。它應(yīng)該是一個(gè)包含有效SQL查詢的字符串。
- globals()指定了查詢中使用的數(shù)據(jù)幀所在的全局命名空間。
三、使用Pandasql查詢Pandas數(shù)據(jù)幀
首先導(dǎo)入所需的包和從Pandasql導(dǎo)入sqldf函數(shù)：
import pandas as pd
import seaborn as sns
from pandasql import sqldf由于將在數(shù)據(jù)幀上運(yùn)行多個(gè)查詢，因此可以定義一個(gè)函數(shù)，這樣就可以通過將查詢作為參數(shù)傳遞來調(diào)用它：
# 為運(yùn)行SQL查詢定義可重復(fù)使用的函數(shù)
run_query = lambda query: sqldf(query, globals())對(duì)于接下來的所有示例，本文將運(yùn)行run_query函數(shù)（該函數(shù)在底層使用了sqldf()），在tips_df數(shù)據(jù)幀上執(zhí)行SQL查詢，然后打印出返回的結(jié)果。
3.1 加載數(shù)據(jù)集
這里，使用內(nèi)置于Seaborn庫中的"tips"數(shù)據(jù)集。"tips"數(shù)據(jù)集包含有關(guān)餐廳小費(fèi)的信息，包括總賬單、小費(fèi)金額、付款人的性別、星期幾等。
將"tips"數(shù)據(jù)集加載到名為tips_df的數(shù)據(jù)幀中：
# 將"tips"數(shù)據(jù)集加載到`pandas`數(shù)據(jù)幀中
tips_df = sns.load_dataset("tips")3.2 示例1 - 選擇數(shù)據(jù)
下面是本文的第一個(gè)查詢，簡單的SELECT語句：
# 簡單的SELECT查詢
query_1 = """
SELECT *
FROM tips_df
LIMIT 10;
"""
result_1 = run_query(query_1)
print(result_1)如圖所示，該查詢選擇了tips_df數(shù)據(jù)幀中的所有列，并使用"LIMIT"關(guān)鍵字將輸出限制在前10行。這相當(dāng)于在Pandas中執(zhí)行tips_df.head(10)：
圖片
query_1的輸出
3.3 示例2 - 根據(jù)條件過濾
接下來，編寫根據(jù)條件過濾結(jié)果的查詢：
# 根據(jù)條件過濾
query_2 = """
SELECT *
FROM tips_df
WHERE total_bill > 30 AND tip > 5;
"""
result_2 = run_query(query_2)
print(result_2)該查詢根據(jù)WHERE子句中指定的條件過濾tips_df數(shù)據(jù)幀。它從tips_df數(shù)據(jù)幀中選擇其中'total_bill'大于30并且'tip'金額大于5的所有列。
運(yùn)行query_2將得到以下結(jié)果：
query_2的輸出
3.4 示例3 - 分組和聚合
運(yùn)行以下查詢，以獲取按天分組的平均賬單金額：
# 分組和聚合
query_3 = """
SELECT day, AVG(total_bill) as avg_bill
FROM tips_df
GROUP BY day;
"""
result_3 = run_query(query_3)
print(result_3)以下是輸出結(jié)果：
query_3的輸出
可以清楚地看到周末的平均賬單金額略高。
再舉一個(gè)分組和聚合的例子。觀察以下查詢：
query_4 = """
SELECT day, COUNT(*) as num_transactions, AVG(total_bill) as avg_bill, MAX(tip) as max_tip
FROM tips_df
GROUP BY day;
"""
result_4 = run_query(query_4)
print(result_4)查詢query_4通過'day'列對(duì)tips_df數(shù)據(jù)幀中的數(shù)據(jù)進(jìn)行分組，并為每個(gè)分組計(jì)算以下聚合函數(shù)：
- num_transactions：交易次數(shù)。
- avg_bill：'total_bill'列的平均值。
- max_tip：'tip'列的最大值。
如圖所示，得到了按日期分組的上述數(shù)量：
query_4的輸出
3.5 示例4 - 子查詢
接下來添加一個(gè)使用子查詢的查詢示例：
# 子查詢
query_5 = """
SELECT *
FROM tips_df
WHERE total_bill > (SELECT AVG(total_bill) FROM tips_df);
"""
result_5 = run_query(query_5)
print(result_5)其中，
- 內(nèi)部子查詢計(jì)算了tips_df數(shù)據(jù)幀中'total_bill'列的平均值。
- 然后，外部查詢選擇了tips_df數(shù)據(jù)幀中'total_bill'大于計(jì)算得到的平均值的所有列。
運(yùn)行query_5，得到以下結(jié)果：
query_5的輸出
3.6 示例5 - 連接兩個(gè)數(shù)據(jù)幀
由于目前只有一個(gè)數(shù)據(jù)幀。為了進(jìn)行簡單的連接操作，創(chuàng)建另一個(gè)數(shù)據(jù)幀，如下所示：
# 創(chuàng)建另一個(gè)要與`tips_df`連接的數(shù)據(jù)幀
other_data = pd.DataFrame({
'day': ['Thur','Fri', 'Sat', 'Sun'],
'special_event': ['Throwback Thursday', 'Feel Good Friday', 'Social Saturday','Fun Sunday', ]
})other_data數(shù)據(jù)幀將每天與一個(gè)特殊事件關(guān)聯(lián)起來。
現(xiàn)在，在共同的'day'列上執(zhí)行tips_df和other_data數(shù)據(jù)幀之間的LEFT JOIN：
query_6 = """
SELECT t.*, o.special_event
FROM tips_df t
LEFT JOIN other_data o ON t.day = o.day;
"""
result_6 = run_query(query_6)
print(result_6)以下是連接操作的結(jié)果：
query_6的輸出
四、總結(jié)
本文介紹了如何使用Pandasql在Pandas數(shù)據(jù)幀上運(yùn)行SQL查詢。盡管在Pandasql中使用SQL查詢數(shù)據(jù)幀變得非常簡單，但也存在一些限制。
最主要的限制是，Pandasql比原生Pandas慢幾個(gè)數(shù)量級(jí)。本文對(duì)此的建議是：如果需要使用Pandas進(jìn)行數(shù)據(jù)分析，可以在學(xué)習(xí)Pandas并快速上手時(shí)使用Pandasql來查詢數(shù)據(jù)幀。然后，一旦熟悉了Pandas，可以切換到Pandas或其他的庫（類似Polars）。
