使用Pandas分塊處理大文件

問題：今天在處理快手的用戶數(shù)據(jù)時，遇到了一個差不多600M的txt文本，用sublime打開都蹦了，我用pandas.read_table()去讀，差不多花了近2分鐘，最后打開發(fā)現(xiàn)差不多3千萬行數(shù)據(jù)。這僅僅是打開，如果要處理不知得多費(fèi)勁。

[[337839]]

解決：我翻了一下文檔，這一類讀取文件的函數(shù)有兩個參數(shù)：chunksize、iterator

原理就是不一次性把文件數(shù)據(jù)讀入內(nèi)存中，而是分多次。

1、指定chunksize分塊讀取文件

read_csv 和 read_table 有一個 chunksize 參數(shù)，用以指定一個塊大小(每次讀取多少行)，返回一個可迭代的 TextFileReader 對象。

table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000) 
for df in table: 
    對df處理 
    #如df.drop(columns=['page','video_id'],axis=1,inplace=True) 
    #print(type(df),df.shape)打印看一下信息12345 

我這里又對文件進(jìn)行了劃分，分成若干個子文件分別處理(沒錯，to_csv也同樣有chunksize參數(shù))

2、指定iterator=True

iterator=True同樣返回的是TextFileReader對象

reader = pd.read_table('tmp.sv', sep='\t', iterator=True) 
df=reader.get_chunk(10000) 
#通過get_chunk(size)，返回一個size行的塊 
#接著同樣可以對df處理 

直接看看pandas文檔在這一方面的內(nèi)容吧。