本文轉載自公眾號“讀芯術”(ID：AI_Discovery)。

作為一名數據分析師或數據科學家，不了解Python中的Pandas庫是無論如何說不過去的，它已經成為Python中用來整理、清理數據的標準工具了。

然而，關于Pandas，你確定自己完全掌握了嘛?本文將分享一些少見但有用的Pandas技巧，它們能提升工作效率，讓生活更輕松。

[[346554]]

用剪貼板創建數據框

眾所周知，Pandas可以使用SQLAlchemy從CSV、JSON甚至直接從數據庫輕松讀取數據，但你知道Pandas還可以從所用操作系統的剪貼板讀取數據嗎?假設有一個包含多個數據表的Excel文件。現在，需要在Python中處理其中一個表的部分數據。你通常會怎么做?

• 從數據表中復制需要在Python中處理的數據。
• 將其粘貼到另一個數據表中。
• 將當前工作表保存到CSV文件中。
• 獲取新CSV文件的路徑。
• 在Python中，使用pd.read_csv('path/to/csv/file')將文件讀入一個Pandas數據框架。

當然，其實有種更簡單的方法——pd.read_clipboard()。

• 復制所需數據區域
• 在Python中，使用pd.read_clipboard()

如上所示，如果只是想要將一些數據加載到Pandas中，那么無需CSV或Excel的分離文件。

在該函數中還有一些小竅門。例如，當遇到帶有日期格式的數據時，可能無法正確加載，如下所示：

訣竅就是，為Pandas注明哪一列是需要解析的日期格式。

df = pd.read_clipboard(parse_dates=['dob']) 

使用測試方法生成虛擬數據

有時可能需要生成一些樣本數據幀，最常見的方法應該是使用NumPy生成一個具有隨機值的數組，然后從該數組生成數據幀。

如果數據需要具有一定的分布，比如正態分布，就必須使用這種方法。但是，大多數情況下，數據是否呈正態分布并不重要，只要有數據就好。在這種情況下，有一種更簡單的方法，即使用pandas.util.testing測試包生成樣本數據幀。

pd.util.testing.makeDataFrame() 

數據幀的索引將使用隨機字符串生成，默認情況下將有4列30行。

如果需要數量相當的行和列，可以將testing.N定義為行數，并將testing.K定義為列數。

pd.util.testing.N = 10 
pd.util.testing.K = 5 
pd.util.testing.makeDataFrame() 

將數據幀輸出至壓縮文件

[[346555]]

圖源：unsplash

數據幀可以輕松輸出至文件，例如以df.to_csv()、df.to_json()等形式。但有時，為節省磁盤空間或另作它用，需要壓縮文件。例如，作為一名數據工程師，為了將Pandas數據幀輸出到CSV文件中，并將其傳輸到遠程服務器，在發送前需要壓縮文件以節省空間和帶寬。

通常，一貫的解決方案是在所用調度工具(如Airflow或Oozie)中多操作一步，但Pandas可以直接輸出壓縮文件。所以，解決方案幾步就可完成，更加簡潔明了。

先使用第二個小竅門生成隨機數據幀吧：

pd.util.testing.N = 100000 
pd.util.testing.K = 5 
df = pd.util.testing.makeDataFrame() 

在該例子中，僅需要一個數據框架，其中的值可完全不計。現在，將數據幀保存到一個CSV文件中，并檢查其大小。

import osdf.to_csv('sample.csv')os.path.getsize('sample.csv') 

然后，可以試試將相同的數據幀輸出到壓縮文件中，并檢查文件的大小。

df.to_csv('sample.csv.gz', compression='gzip')os.path.getsize('sample.csv.gz') 

可以看到，壓縮文件小于正常CSV文件的一半。

這可能不是一個好例子，因為該隨機數據幀中沒有任何重復值。在實踐中，如果存在分類值，壓縮率會非常高!順便一提，如你所想，Pandas可以直接將壓縮文件讀入數據幀，無須在文件系統中解壓它。

df = pd.read_csv('sample.csv.gz', compression='gzip', index_col=0) 

gzip是優先選擇，因為它默認存在于大多數Linux系統中。Pandas還支持其它壓縮格式，比如“zip”和“bz2”。

多列獲取DateTime(時間日期)

[[346556]]

圖源：unsplash

在Pandas中，你一定用過pd.to_datetime()方法將某種字符串轉換為DateTime格式，這通常用于處理諸如%Y%m%d的格式字符串。然而，也有時可能會使用下方所示的數據框架作為原始數據。

df = pd.DataFrame({ 
    'year': np.arange(2000, 2012), 
    'month': np.arange(1, 13), 
    'day': np.arange(1, 13), 
    'value': np.random.randn(12) 
}) 

在數據框架中，將年、月、日作為單獨列分隔開來屢見不鮮，可以使用pd.to_dateframe()將其一步轉換為DateTime列。

df['date'] = pd.to_datetime(df[['year', 'month', 'day']]) 

本文分享了一些關于Pandas Python庫的省時小竅門。簡而言之，人生苦短，Python值得。