Python CSV 和 JSON 格式高級處理（上）
CSV（Comma-Separated Values）和 JSON（JavaScript Object Notation）是兩種常見的數據格式，它們在數據交換和存儲中都有著廣泛的應用。CSV 是一種基于純文本的表格格式，通常用于表示簡單的表格數據；JSON 則是一種輕量級的數據交換格式，用于表示復雜的結構化數據。
在實際應用中，我們經常需要對 CSV 和 JSON 數據進行高級處理，以獲得更有用的信息或更好的數據分析結果。例如，我們可能需要從一個大型的數據集中提取特定的數據，過濾掉不需要的信息，或者將數據轉換為其他格式。這些操作需要使用一些高級的技術和工具來完成。
如何在 Python 中讀取和寫入 CSV 和 JSON 文件
在 Python 中，我們可以使用內置的 csv 和 json 模塊來讀取和寫入 CSV 和 JSON 文件。csv 模塊提供了一組函數來處理 CSV 格式的數據，如 csv.reader()、csv.writer() 等；json 模塊則提供了一組函數來解析和生成 JSON 格式的數據，如 json.loads()、json.dumps() 等。
下面是一個示例代碼，演示如何使用 csv 和 json 模塊讀取和寫入 CSV 和 JSON 文件：
import csv
import json
# 讀取 CSV 文件
with open('data.csv', 'r') as f:
reader = csv.DictReader(f)
for row in reader:
print(row)
# 寫入 CSV 文件
with open('data.csv', 'w', newline='') as f:
fieldnames = ['name', 'age']
writer = csv.DictWriter(f, fieldnames=fieldnames)
writer.writeheader()
writer.writerow({'name': 'Alice', 'age': 23})
writer.writerow({'name': 'Bob', 'age': 30})
# 讀取 JSON 文件
with open('data.json', 'r') as f:
data = json.load(f)
print(data)
# 寫入 JSON 文件
data = [{'name': 'Alice', 'age': 23}, {'name': 'Bob', 'age': 30}]
with open('data.json', 'w') as f:
json.dump(data, f)在這個例子中，我們首先使用 csv.DictReader() 函數讀取一個名為 data.csv 的 CSV 文件，并將其轉換為 Python 字典類型。然后，我們又使用 csv.DictWriter() 函數創建一個新的 CSV 文件，并向其中寫入一些數據。接著，我們使用 json.load() 函數讀取一個名為 data.json 的 JSON 文件，并將其轉換為 Python 對象。最后，我們又使用 json.dump() 函數將 Python 對象寫入到一個名為 data.json 的 JSON 文件中。
常見的數據處理操作（如排序、過濾、分析等）
除了讀取和寫入 CSV 和 JSON 文件之外，我們還需要進行一些常見的數據處理操作，如排序、過濾、分析等。在 Python 中，我們可以使用內置的列表和字典類型，以及一些特殊的數據處理工具來完成這些操作。
排序
在 Python 中，我們可以使用 sorted() 函數對列表進行排序，或者使用列表類型的 sort() 方法對列表進行就地排序。例如：
data = [{'name': 'Alice', 'age': 23}, {'name': 'Bob', 'age': 30}]
# 按年齡升序排序
sorted_data = sorted(data, key=lambda x: x['age'])
# 就地按年齡降序排序
data.sort(key=lambda x: x['age'], reverse=True)在這個例子中，我們首先定義了一個包含兩個字典元素的列表 data。然后，我們又分別使用 sorted() 函數和 sort() 方法對列表 data 進行排序操作。在這里，我們使用了一個 lambda 函數來指定排序的關鍵字，也就是每個字典元素中的 'age' 值。
過濾
在 Python 中，我們可以使用列表推導式、filter() 函數等方式對列表進行過濾操作。例如：
data = [{'name': 'Alice', 'age': 23}, {'name': 'Bob', 'age': 30}]
# 列表推導式實現過濾
filtered_data = [d for d in data if d['age'] < 30]
# filter() 函數實現過濾
filtered_data = list(filter(lambda x: x['age'] < 30, data))在這個例子中，我們同樣定義了一個包含兩個字典元素的列表 data。然后，我們使用列表推導式和 filter() 函數分別對列表 data 進行過濾操作，只保留年齡小于 30 的字典元素。
分析
在Python中，我們可以使用 pandas 等數據分析庫對 CSV 和 JSON 數據進行更加復雜的分析操作。例如：
import pandas as pd
# 讀取 CSV 文件并進行分析
data = pd.read_csv('data.csv')
# 輸出前 5 行數據
print(data.head())
# 對年齡字段進行統計分析
print(data['age'].describe())
# 讀取 JSON 文件并進行分析
with open('data.json', 'r') as f:
data = json.load(f)
# 轉換為 pandas DataFrame 格式
df = pd.DataFrame(data)
# 輸出前 5 行數據
print(df.head())
# 對年齡字段進行統計分析
print(df['age'].describe())在這個例子中，我們首先使用 pandas 庫中的 read_csv() 函數和 JSON 模塊中的 load() 函數分別讀取一個名為 data.csv 和 data.json 的文件，并將其轉換為 pandas DataFrame 格式。然后，我們又分別對 DataFrame 中的數據進行了一些簡單的分析操作，如輸出前 5 行數據、對年齡字段進行統計分析等。
示例代碼
下面是一個完整的示例代碼，演示了如何對 CSV 和 JSON 文件進行高級操作：
import csv
import json
import pandas as pd
# 讀取 CSV 文件
with open('data.csv', 'r') as f:
reader = csv.DictReader(f)
for row in reader:
print(row)
# 寫入 CSV 文件
with open('data.csv', 'w', newline='') as f:
fieldnames = ['name', 'age']
writer = csv.DictWriter(f, fieldnames=fieldnames)
writer.writeheader()
writer.writerow({'name': 'Alice', 'age': 23})
writer.writerow({'name': 'Bob', 'age': 30})
# 讀取 JSON 文件
with open('data.json', 'r') as f:
data = json.load(f)
print(data)
# 寫入 JSON 文件
data = [{'name': 'Alice', 'age': 23}, {'name': 'Bob', 'age': 30}]
with open('data.json', 'w') as f:
json.dump(data, f)
# 排序
data = [{'name': 'Alice', 'age': 23}, {'name': 'Bob', 'age': 30}]
# 按年齡升序排序
sorted_data = sorted(data, key=lambda x: x['age'])
# 就地按年齡降序排序
data.sort(key=lambda x: x['age'], reverse=True)
# 過濾
data = [{'name': 'Alice', 'age': 23}, {'name': 'Bob', 'age': 30}]
# 列表推導式實現過濾
filtered_data = [d for d in data if d['age'] < 30]
# filter() 函數實現過濾
filtered_data = list(filter(lambda x: x['age'] < 30, data))
# 分析
# 讀取 CSV 文件并進行分析
data = pd.read_csv('data.csv')
# 輸出前 5 行數據
print(data.head())
# 對年齡字段進行統計分析
print(data['age'].describe())
# 讀取 JSON 文件并進行分析
with open('data.json', 'r') as f:
data = json.load(f)
# 轉換為 pandas DataFrame 格式
df = pd.DataFrame(data)
# 輸出前 5 行數據
print(df.head())
# 對年齡字段進行統計分析
print(df['age'].describe())在這個示例代碼中，我們首先使用 csv 和 json 模塊讀取和寫入了一個名為 data.csv 和 data.json 的文件。接著，我們又使用 Python 內置的函數和工具對 CSV 和 JSON 數據進行了一些常見的處理操作，如排序、過濾和分析等。最后，我們還使用了 pandas 庫對 CSV 和 JSON 數據進行了更加復雜的分析操作。
數據清洗和轉換
數據清洗和轉換的必要性和應用場景
在實際數據分析中，數據的質量和準確性對最終的結果影響至關重要。因此，在進行數據分析之前，我們需要對原始數據進行一些預處理工作，以確保數據的完整性、一致性和準確性。
數據清洗和轉換是數據預處理過程中最為重要的環節之一。它包括處理缺失值、異常值、重復值等問題，將數據從一種格式轉換為另一種格式，或者將數據進行標準化、歸一化等操作。
數據清洗和轉換的應用場景非常廣泛，比如：
- 處理來自不同來源、格式不統一的數據
- 清除無效、冗余或者錯誤的數據
- 處理缺失值、異常值、重復值等問題
- 將數據轉換為適合特定分析算法的格式
- 通過標準化、歸一化等操作提高數據的可比性和可解釋性
如何使用 Python 對 CSV 和 JSON 數據進行清洗和轉換
在 Python 中，我們可以使用 pandas 庫對 CSV 和 JSON 數據進行清洗和轉換。pandas 是一個強大的數據處理和數據分析庫，提供了一組豐富的函數和工具，可以方便地進行數據清洗、數據轉換、數據分析和數據可視化等操作。
下面是一個示例代碼，演示了如何使用 pandas 對 CSV 和 JSON 數據進行清洗和轉換：
import pandas as pd
# 讀取 CSV 文件并進行清洗和轉換
data = pd.read_csv('data.csv')
# 處理缺失值
data.dropna(inplace=True)
# 處理異常值
data = data[(data['age'] >= 0) & (data['age'] <= 120)]
# 處理重復值
data.drop_duplicates(subset=['name'], inplace=True)
# 將數據轉換為特定格式
data['age_category'] = pd.cut(data['age'], bins=[0, 18, 30, 50, 100], labels=['child', 'young', 'middle', 'old'])
# 讀取 JSON 文件并進行清洗和轉換
with open('data.json', 'r') as f:
data = json.load(f)
# 轉換為 pandas DataFrame 格式
df = pd.DataFrame(data)
# 處理缺失值
df.dropna(inplace=True)
# 處理異常值
df = df[(df['age'] >= 0) & (df['age'] <= 120)]
# 處理重復值
df.drop_duplicates(subset=['name'], inplace=True)
# 將數據轉換為特定格式
df['age_category'] = pd.cut(df['age'], bins=[0, 18, 30, 50, 100], labels=['child', 'young', 'middle', 'old'])在這個示例代碼中，我們首先使用 pandas 庫中的 read_csv() 函數和 JSON 模塊中的 load() 函數讀取一個名為 data.csv 和 data.json 的文件，并將其轉換為 pandas DataFrame 格式。然后，我們又使用了一些 pandas 中的函數和工具對數據進行了清洗和轉換操作，如處理缺失值、異常值、重復值等問題，將數據轉換為特定格式等。
實例代碼
下面是一個完整的示例代碼，演示了如何在 Python 中對 CSV 和 JSON 數據進行數據清洗和轉換：
import csv
import json
import pandas as pd
# 讀取 CSV 文件并進行清洗和轉換
with open('data.csv', 'r') as f:
reader = csv.DictReader(f)
data = [row for row in reader]
df = pd.DataFrame(data)
# 處理缺失值
df.dropna(inplace=True)
# 處理異常值
df = df[(df['age'] >= 0) & (df['age'] <= 120)]
# 處理重復值
df.drop_duplicates(subset=['name'], inplace=True)
# 將數據轉換為特定格式
df['age_category'] = pd.cut(df['age'], bins=[0, 18, 30, 50, 100], labels=['child', 'young', 'middle', 'old'])
# 寫入 CSV 文件
df.to_csv('cleaned_data.csv', index=False)
# 讀取 JSON 文件并進行清洗和轉換
with open('data.json', 'r') as f:
data = json.load(f)
df = pd.DataFrame(data)
# 處理缺失值
df.dropna(inplace=True)
# 處理異常值
df = df[(df['age'] >= 0) & (df['age'] <= 120)]
# 處理重復值
df.drop_duplicates(subset=['name'], inplace=True)
# 將數據轉換為特定格式
df['age_category'] = pd.cut(df['age'], bins=[0, 18, 30, 50, 100], labels=['child', 'young', 'middle', 'old'])
# 寫入 JSON 文件
with open('cleaned_data.json', 'w') as f:
json.dump(df.to_dict(orient='records'), f)在這個示例代碼中，我們首先使用 csv 和 json 模塊讀取了一個名為 data.csv 和 data.json 的文件，并將其轉換為 pandas DataFrame 格式。然后，我們又使用了一些 pandas 中的函數和工具對數據進行了清洗和轉換操作，如處理缺失值、異常值、重復值等問題，將數據轉換為特定格式等。最后，我們又使用 csv 和 json 模塊將清洗后的數據寫入到了兩個不同的文件中，分別是 cleaned_data.csv 和 cleaned_data.json。
