Python 中的數據處理方式有哪些？
1.數據清洗與預處理
Pandas: Pandas 是最常用的數據處理庫之一，它提供了強大的數據結構（如DataFrame）以及用于操作表格數據的函數，包括缺失值處理、數據轉換、聚合等。
import pandas as pd
# 創建一個簡單的 DataFrame
data = {'A': [1, 2, None], 'B': [4, 5, 6]}
df = pd.DataFrame(data)
# 處理缺失值
df.fillna(0, inplace=True)2. 數據分析與統計
NumPy: NumPy 提供了多維數組對象和一系列用于數學運算的功能，是進行數值計算的基礎庫。
import numpy as np
# 創建一個數組并執行一些基本操作
arr = np.array([1, 2, 3])
mean_value = np.mean(arr)SciPy: SciPy 建立在 NumPy 之上，提供了更多高級的科學計算功能，如優化、信號處理、線性代數等。
from scipy import stats
# 計算一組數據的描述性統計信息
data = [1, 2, 2, 3, 4]
mode = stats.mode(data)3. 數據可視化
Matplotlib: Matplotlib 是 Python 中最受歡迎的繪圖庫之一，可以創建靜態、動態及交互式的圖表。
import matplotlib.pyplot as plt
# 繪制簡單折線圖
plt.plot([1, 2, 3, 4], [1, 4, 9, 16])
plt.show()Seaborn: Seaborn 是基于 Matplotlib 的更高層次接口，專注于統計數據可視化，提供更美觀的默認樣式和顏色方案。
import seaborn as sns
# 加載示例數據集并繪制熱力圖
tips = sns.load_dataset("tips")
sns.heatmap(tips.corr(), annot=True)
plt.show()4. 機器學習與預測建模
Scikit-learn: Scikit-learn 是一個廣泛使用的機器學習庫，支持多種算法，如分類、回歸、聚類等，并且包含許多實用工具，例如特征選擇、模型評估等。
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
# 分割數據集為訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 訓練線性回歸模型
model = LinearRegression()
model.fit(X_train, y_train)5. 文本處理與自然語言處理 (NLP)
NLTK: NLTK (Natural Language Toolkit) 是一個用于文本處理和自然語言處理的強大庫，涵蓋了從分詞到語義分析的各種任務。
import nltk
from nltk.tokenize import word_tokenize
# 分詞
text = "Hello, how are you?"
tokens = word_tokenize(text)
print(tokens)spaCy: spaCy 是另一個高效的工業級 NLP 庫，特別適合生產環境中使用，具有快速性能和易于擴展的特點。
import spacy
nlp = spacy.load('en_core_web_sm')
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")
for token in doc:
print(token.text, token.pos_)6. 時間序列分析
Statsmodels: Statsmodels 是一個專注于統計建模和時間序列分析的庫，提供了廣泛的模型和方法，如ARIMA、VAR等。
import statsmodels.api as sm
# 擬合 ARIMA 模型
model = sm.tsa.ARIMA(endog=data, order=(5,1,0))
results = model.fit()7. 圖像處理
OpenCV: OpenCV 是一個開源計算機視覺庫，廣泛應用于圖像處理和視頻捕捉等領域。
import cv2
# 讀取圖像文件
img = cv2.imread('image.jpg')
# 顯示圖像
cv2.imshow('Image', img)
cv2.waitKey(0)
cv2.destroyAllWindows()8. 數據庫連接與SQL查詢
SQLite3: SQLite3 模塊允許直接與 SQLite 數據庫交互，執行 SQL 查詢。
import sqlite3
conn = sqlite3.connect('example.db')
cursor = conn.cursor()
# 執行查詢
cursor.execute("SELECT * FROM table_name")
rows = cursor.fetchall()
for row in rows:
print(row)
conn.close()SQLAlchemy: SQLAlchemy 是一個 ORM（對象關系映射）庫，使得 Python 對象可以直接映射到數據庫表，簡化了數據庫操作。
from sqlalchemy import create_engine, Table, MetaData
engine = create_engine('sqlite:///example.db')
metadata = MetaData(bind=engine)
table = Table('table_name', metadata, autoload_with=engine)
with engine.connect() as connection:
result = connection.execute(table.select())
for row in result:
print(row)9. 并行與分布式計算
Multiprocessing: Multiprocessing 模塊提供了跨平臺的方式來進行多進程編程，適用于需要利用多核 CPU 資源的任務。
from multiprocessing import Pool
def f(x):
return x*x
if __name__ == '__main__':
with Pool(5) as p:
print(p.map(f, [1, 2, 3]))Dask: Dask 是一個靈活的并行計算庫，能夠輕松地將現有的 Python 代碼擴展到大規模集群上運行。
import dask.dataframe as dd
# 讀取大型 CSV 文件
df = dd.read_csv('large_file.csv')
result = df.groupby('column').sum().compute()
