import pandas as pd  
  
# 設(shè)置分塊大小，例如每次讀取 10000 行  
chunksize = 10000  
  
# 使用 chunksize 參數(shù)分塊讀取 CSV 文件  
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):  
    # 在這里處理每個(gè) chunk，例如打印每行的信息  
    print(chunk.head())  # 或者其他你需要的操作  
  
    # 如果你需要保存或進(jìn)一步處理每個(gè) chunk 的數(shù)據(jù)，可以在這里進(jìn)行  
    # 例如，你可以將每個(gè) chunk 寫入不同的文件，或者對 chunk 進(jìn)行某種計(jì)算并保存結(jié)果

from pyspark.sql import SparkSession  
  
# 創(chuàng)建一個(gè) SparkSession 對象  
spark = SparkSession.builder \  
    .appName("Big Data Processing with PySpark") \  
    .getOrCreate()  
  
# 讀取 CSV 文件  
# 假設(shè) CSV 文件名為 data.csv，并且有一個(gè)名為 'header' 的表頭  
# 你需要根據(jù)你的 CSV 文件的實(shí)際情況修改這些參數(shù)  
df = spark.read.csv("path_to_your_csv_file/data.csv", header=True, inferSchema=True)  
  
# 顯示數(shù)據(jù)集的前幾行  
df.show(5)  
  
# 對數(shù)據(jù)進(jìn)行一些轉(zhuǎn)換  
# 例如，我們可以選擇某些列，并對它們應(yīng)用一些函數(shù)  
# 假設(shè)我們有一個(gè)名為 'salary' 的列，并且我們想要增加它的值（僅作為示例）  
df_transformed = df.withColumn("salary_increased", df["salary"] * 1.1)  
  
# 顯示轉(zhuǎn)換后的數(shù)據(jù)集的前幾行  
df_transformed.show(5)  
  
# 將結(jié)果保存到新的 CSV 文件中  
# 注意：Spark 默認(rèn)不會保存表頭到 CSV，你可能需要手動(dòng)處理這個(gè)問題  
df_transformed.write.csv("path_to_save_transformed_csv/transformed_data", header=True)  
  
# 停止 SparkSession  
spark.stop()

import modin.pandas as pd  
  
# 讀取 CSV 文件  
df = pd.read_csv('path_to_your_csv_file.csv')  
  
# 顯示前幾行  
print(df.head())

import dask.dataframe as dd  
  
# 讀取 CSV 文件  
df = dd.read_csv('path_to_your_csv_file.csv')  
  
# 觸發(fā)計(jì)算并顯示前幾行（注意這里使用的是 compute 方法）  
print(df.head().compute())

import polars as pl
  
# 讀取 CSV 文件  
df = pl.read_csv('path_to_your_csv_file.csv')  
  
# 顯示前幾行
print(df.head())