搜索arXiv最相關論文一鍵直達,多虧了ChatGPT,幾天就完成
對于天天查找論文的小伙伴來說,有一個好用的搜索工具,那簡直不要太開心,效率妥妥的上升。
但現實結果卻是,要么搜索工具不給力,要么自己輸入的關鍵詞不起作用,反正,自己腦海里想找尋的論文和搜索出來的結果不能說毫無關系,簡直是天差地別。
下面我們將要介紹的這個網站,可以幫你搞定論文搜索遇到的難題,網站名為 arXiv Xplorer,專門用于對 arXiv 上的論文進行語義搜索。根據項目作者介紹,該網站的內部算法使用了 OpenAI 的最新嵌入模型,可以為用戶進行搜索查詢,從而找到最相關的論文。
arXiv Xplorer地址:https://arxivxplorer.com/
項目作者表示:OpenAI 新的嵌入 API 給他留下了深刻的印象,因此他想看看該嵌入是如何在實踐中使用的。所以他花了幾天時間來構建這個項目,到目前為止,它工作得非常好。除此以外,他還用 ChatGPT 編寫了 80% 的 UI,用 pinecone 來存儲向量數據庫,并用 googlecloud 函數來嵌入查詢并執行查找。
想要了解嵌入模型更多內容,可以前去網站查看。
嵌入模型:https://openai.com/blog/new-and-improved-embedding-model/
借助 arXiv Xplorer,你可以找到所需論文,即使是你的描述非常模糊,甚至只是輸入「有趣的 ML 論文」這種沒有信息含量的描述,該引擎也能幫你完成。如下所示,輸入幾個關鍵字后該網站展示的查詢結果。
在此過程中,相比谷歌或 arXiv 自己的搜索等傳統搜索工具來說,你還能發現以前從未見過的有趣論文,相比來說,似乎 arXiv Xplorer 效果更勝一籌。
你也可以通過粘貼 arxiv url 直接搜索類似的論文,舉例來說,下圖的輸入是論文《A Generalist Agent》的地址,搜索結果顯示(紅框),A Generalist Agent 相似度為 100%,其他的搜索結果按照得分依次展開。
除此以外,你還可以點擊上圖紅框中的小三角,之后界面變成下圖所示,顯示論文參與者和摘要,下面還有兩個功能:「More Like This」將會顯示更多相似論文;「View」會鏈接到論文在 arXiv 的主頁。
?
看到這個功能齊全的網站,網友的好奇心也是憋不住了,問道「你用到了 OpenAI 的嵌入技術,但是這項技術是收費的,那你為此交了多少錢?」。項目作者表示:「將所有論文嵌入 CS 類別(約 50 萬篇)需要 40 美元。」
?
還有網友對技術展開了一系列問題,例如:「這個網站是嵌入了所有 arXiv 的標題嗎?」項目作者表示:「他把所有論文的標題和摘要都嵌入了,最初手動做余弦相似度和排序,但 pinecone 使它超級簡單!」
還有網友建議到:「這個工具搜索功能做得很好!如果能夠按發布日期查看和排序,那就太酷了。」對于這一點,項目作者表示之后會不斷優化,爭取實現更完美的功能。