[[316672]]

注意：谷歌的新數(shù)據(jù)集搜索工具已于2020年1月23日問(wèn)世。

疫情防控階段，大家的“寒假“越過(guò)越長(zhǎng)，這么“長(zhǎng)”時(shí)間的寒假能做些什么呢?

最近，谷歌發(fā)布了免費(fèi)工具datasetsearch，它可以搜索2500萬(wàn)個(gè)公開可用的數(shù)據(jù)集。

搜索工具包括過(guò)濾器，可基于許可證(免費(fèi)或付費(fèi))、格式(csv，圖像等)和更新時(shí)間限制結(jié)果。

結(jié)果還包括對(duì)數(shù)據(jù)集內(nèi)容的描述以及作者的引用。

谷歌的數(shù)據(jù)集聚合方法不同于其他數(shù)據(jù)集存儲(chǔ)庫(kù)(如亞馬遜的開放數(shù)據(jù)注冊(cè)表)。與其他自行管理和托管數(shù)據(jù)集的存儲(chǔ)庫(kù)不同，谷歌不會(huì)直接管理或提供2500萬(wàn)個(gè)數(shù)據(jù)集的訪問(wèn)權(quán)限。

取而代之的是，谷歌依靠數(shù)據(jù)集發(fā)布者，使用 schema.org的開放標(biāo)準(zhǔn)描述其數(shù)據(jù)集的元數(shù)據(jù)。然后，谷歌索引元數(shù)據(jù)，并使其在發(fā)布者之間可搜索。

發(fā)布者仍需自己托管數(shù)據(jù)集，因此符合schema.org標(biāo)準(zhǔn)的營(yíng)利性發(fā)布者也將使用谷歌為其數(shù)據(jù)集建立索引。根據(jù)以往經(jīng)驗(yàn)，筆者發(fā)現(xiàn)，搜索與市場(chǎng)相關(guān)的數(shù)據(jù)集時(shí)，其百分比更高，搜索結(jié)果中約有一半的數(shù)據(jù)集來(lái)自營(yíng)利性聚合器。

該平臺(tái)上其他受歡迎的數(shù)據(jù)集發(fā)布者包括政府機(jī)構(gòu)和研究機(jī)構(gòu)。谷歌聲稱，僅美國(guó)政府機(jī)構(gòu)就已經(jīng)發(fā)布了超過(guò)200萬(wàn)個(gè)數(shù)據(jù)集。

據(jù)谷歌統(tǒng)計(jì)，大多數(shù)數(shù)據(jù)集涉及”地球科學(xué)、生物學(xué)和農(nóng)業(yè)領(lǐng)域。”

簡(jiǎn)單使用schema.org的開放標(biāo)準(zhǔn)即可發(fā)布自己的數(shù)據(jù)集。越來(lái)越多的出版商遵守該標(biāo)準(zhǔn)，公開可用的數(shù)據(jù)集的數(shù)量可能會(huì)持續(xù)增長(zhǎng)。

目前，谷歌未提供用于搜索或下載免費(fèi)數(shù)據(jù)集的API。

網(wǎng)上數(shù)百萬(wàn)個(gè)數(shù)據(jù)集出沒

在網(wǎng)絡(luò)上，用戶感興趣的任何主題，幾乎都有數(shù)百萬(wàn)個(gè)數(shù)據(jù)集。如果想購(gòu)買一只小狗，可以查找數(shù)據(jù)集來(lái)匯總買家的投訴或查找對(duì)小狗認(rèn)知度的研究。或者，如果喜歡滑雪，可以查找有關(guān)滑雪勝地收入或受傷率及受傷人數(shù)的數(shù)據(jù)。Dataset Search 已為其中近2500萬(wàn)個(gè)數(shù)據(jù)集建立了索引，可以在一個(gè)地方搜索數(shù)據(jù)集并查找指向數(shù)據(jù)所在位置的鏈接。在過(guò)去一年里，人們對(duì)其進(jìn)行嘗試并提供了反饋，現(xiàn)在DatasetSearch正式退出測(cè)試版。

查詢“滑雪”的一些搜索結(jié)果，涉及最快滑雪者的速度以及滑雪勝地收入的數(shù)據(jù)集。

Dataset Search有何創(chuàng)新之處?

根據(jù)從DatasetSearch早期試用版中得到的反饋，開發(fā)者添加了新功能。現(xiàn)在，根據(jù)所需的數(shù)據(jù)集類型(例如表格、圖像、文本)或是否可以從提供商處免費(fèi)獲得數(shù)據(jù)集，就可以過(guò)濾結(jié)果。如果數(shù)據(jù)集是關(guān)于某個(gè)地區(qū)的，可以查看地圖。另外， 該產(chǎn)品現(xiàn)在可以在移動(dòng)設(shè)備上使用，并且數(shù)據(jù)集描述的質(zhì)量得到了極大改善。然而，一件事情沒有改變：發(fā)布數(shù)據(jù)的任何人都可以使用開放標(biāo)準(zhǔn)(schema.org)在自己的網(wǎng)頁(yè)上描述其數(shù)據(jù)集的屬性，從而使人們?cè)谒阉髦锌梢园l(fā)現(xiàn)數(shù)據(jù)集。

開發(fā)者還了解到有不同類型的人在尋找數(shù)據(jù)。有一些學(xué)術(shù)研究人員正在尋找可以支持其假設(shè)的數(shù)據(jù)(例如：嘗試催產(chǎn)素)、學(xué)生查找表格形式并涵蓋其高級(jí)論文主題的免費(fèi)數(shù)據(jù)(例如：嘗試使用相應(yīng)過(guò)濾器的監(jiān)禁率)、業(yè)務(wù)分析師和數(shù)據(jù)科學(xué)家尋找有關(guān)移動(dòng)應(yīng)用程序或快餐店等的信息。所有這些都有數(shù)據(jù)!用戶都搜索什么呢?最常見的查詢包括“教育”、“天氣”、“癌癥”，“犯罪”、“足球”和“狗”。

上圖為查詢“快餐店”的一些搜索結(jié)果。

在Dataset Search里有哪些數(shù)據(jù)集?

Dataset Search還提供了網(wǎng)上數(shù)據(jù)的快照。此處有一些亮點(diǎn)。數(shù)據(jù)集涵蓋的最大主題是地球科學(xué)、生物學(xué)和農(nóng)業(yè)。世界上大多數(shù)國(guó)家的政府都會(huì)發(fā)布數(shù)據(jù)，并使用schema.org對(duì)其進(jìn)行描述。美國(guó)可用的開放政府?dāng)?shù)據(jù)集超過(guò)200萬(wàn)，在數(shù)量上遙遙領(lǐng)先。最受歡迎的數(shù)據(jù)格式是什么?用戶可以在DatasetSearch中找到超過(guò)600萬(wàn)張表格。

在Dataset Search中找到的數(shù)據(jù)集數(shù)量持續(xù)增加。如果站點(diǎn)上有一個(gè)數(shù)據(jù)集，并使用開放標(biāo)準(zhǔn)schema.org對(duì)其進(jìn)行了描述，其他人可以在DatasetSearch中找到它。如果知道一個(gè)數(shù)據(jù)集存在，但是在DatasetSearch中找不到它，請(qǐng)要求提供者添加schema.org描述，其他人也將了解他們的數(shù)據(jù)集。

未來(lái)何去何從?

DatasetSearch已退出測(cè)試版，但無(wú)論產(chǎn)品是否有“測(cè)試版”，改進(jìn)都將繼續(xù)。快下載體驗(yàn)DatasetSearch吧!