[[249748]]

用這個簡單的工具生成帶有多表的大型數據庫，讓你更好地用 SQL 研究數據科學。

在研究數據科學的過程中，最麻煩的往往不是算法或者技術，而是如何獲取到一批原始數據。盡管網上有很多真實優質的數據集可以用于機器學習，然而在學習 SQL 時卻不是如此。

對于數據科學來說，熟悉 SQL 的重要性不亞于了解 Python 或 R 編程。如果想收集諸如姓名、年齡、信用卡信息、地址這些信息用于機器學習任務，在 Kaggle 上查找專門的數據集比使用足夠大的真實數據庫要容易得多。

如果有一個簡單的工具或庫來幫助你生成一個大型數據庫，表里還存放著大量你需要的數據，豈不美哉？

不僅僅是數據科學的入門者，即使是經驗豐富的軟件測試人員也會需要這樣一個簡單的工具，只需編寫幾行代碼，就可以通過隨機（但是是假隨機）生成任意數量但有意義的數據集。

因此，我要推薦這個名為 pydbgen 的輕量級 Python 庫。在后文中，我會簡要說明這個庫的相關內容，你也可以閱讀它的文檔詳細了解更多信息。

pydbgen 是什么

pydbgen 是一個輕量的純 Python 庫，它可以用于生成隨機但有意義的數據記錄（包括姓名、地址、信用卡號、日期、時間、公司名稱、職位、車牌號等等），存放在 Pandas Dataframe 對象中，并保存到 SQLite 數據庫或 Excel 文件。

如何安裝 pydbgen

目前 1.0.5 版本的 pydbgen 托管在 PyPI（Python 包索引存儲庫Python Package Index repository）上，并且對 Faker 有依賴關系。安裝 pydbgen 只需要執行命令：

pip install pydbgen

已經在 Python 3.6 環境下測試安裝成功，但在 Python 2 環境下無法正常安裝。

如何使用 pydbgen

在使用 pydbgen 之前，首先要初始化 pydb 對象。

import pydbgen
from pydbgen import pydbgen
myDB=pydbgen.pydb()

隨后就可以調用 pydb 對象公開的各種內部函數了。可以按照下面的例子，輸出隨機的美國城市和車牌號碼：

myDB.city_real()
>> 'Otterville'
for _ in range(10):
    print(myDB.license_plate())
>> 8NVX937
   6YZH485
   XBY-564
   SCG-2185
   XMR-158
   6OZZ231
   CJN-850
   SBL-4272
   TPY-658
   SZL-0934

另外，如果你輸入的是 city() 而不是 city_real()，返回的將會是虛構的城市名。

print(myDB.gen_data_series(num=8,data_type='city'))
>>
New Michelle
Robinborough
Leebury
Kaylatown
Hamiltonfort
Lake Christopher
Hannahstad
West Adamborough

生成隨機的 Pandas Dataframe

你可以指定生成數據的數量和種類，但需要注意的是，返回結果均為字符串或文本類型。

testdf=myDB.gen_dataframe(5,['name','city','phone','date'])
testdf

最終產生的 Dataframe 類似下圖所示。

生成數據庫表

你也可以指定生成數據的數量和種類，而返回結果是數據庫中的文本或者變長字符串類型。在生成過程中，你可以指定對應的數據庫文件名和表名。

myDB.gen_table(db_file='Testdb.DB',table_name='People',
 
fields=['name','city','street_address','email'])

上面的例子種生成了一個能被 MySQL 和 SQLite 支持的 .db 文件。下圖則顯示了這個文件中的數據表在 SQLite 可視化客戶端中打開的畫面。

生成 Excel 文件

和上面的其它示例類似，下面的代碼可以生成一個具有隨機數據的 Excel 文件。值得一提的是，通過將 phone_simple 參數設為 False ，可以生成較長較復雜的電話號碼。如果你想要提高自己在數據提取方面的能力，不妨嘗試一下這個功能。

myDB.gen_excel(num=20,fields=['name','phone','time','country'],
phone_simple=False,filename='TestExcel.xlsx')

最終的結果類似下圖所示：

生成隨機電子郵箱地址

pydbgen 內置了一個 realistic_email 方法，它基于種子來生成隨機的電子郵箱地址。如果你不想在網絡上使用真實的電子郵箱地址時，這個功能可以派上用場。

for _ in range(10):
    print(myDB.realistic_email('Tirtha Sarkar'))
>>
Tirtha_Sarkar@gmail.com
Sarkar.Tirtha@outlook.com
Tirtha_S48@verizon.com
Tirtha_Sarkar62@yahoo.com
Tirtha.S46@yandex.com
Tirtha.S@att.com
Sarkar.Tirtha60@gmail.com
TirthaSarkar@zoho.com
Sarkar.Tirtha@protonmail.com
Tirtha.S@comcast.net

未來的改進和用戶貢獻

目前的版本中并不***。如果你發現了 pydbgen 的 bug 導致它在運行期間發生崩潰，請向我反饋。如果你打算對這個項目貢獻代碼，也隨時歡迎你。當然現在也還有很多改進的方向：

• pydbgen 作為隨機數據生成器，可以集成一些機器學習或統計建模的功能嗎？
• pydbgen 是否會添加可視化功能？

一切皆有可能！