2020年十大趨勢機器學習項目
我們處于2021年初,在過去的一年中,機器學習社區發生了很多事情。
不用浪費時間,這里是最流行,趨勢最明顯的開源研究項目,演示和原型的導覽。從照片編輯到NLP,再到帶有"無代碼"的訓練模型,我希望它們能激發您開發出令人難以置信的AI驅動產品。
1.背景遮罩v2
Background Matting v2從流行的"世界就是您的綠屏"開源項目中汲取了靈感,并展示了如何實時刪除或更改背景。它具有更好的性能(4K時為30fps,FHD為60fps),可與流行的視頻會議應用Zoom一起使用。
該技術使用捕獲的背景附加幀,并將其用于恢復alpha遮罩和前景層。為了實時處理高分辨率圖像,使用了兩個神經網絡。
如果您想在保留背景的同時從視頻中刪除某人,則該項目無疑會有所幫助。

2. SkyAR
這是另一個出色的項目,它可以實現視頻天空替換和協調,可以在樣式可控的視頻中自動生成逼真的戲劇性天空背景。
該項目基于Pytorch,部分改編了pytorch-CycleGAN-and-pix2pix項目中的代碼,并利用了天空遮罩,通過光流進行的運動估計以及圖像融合為視頻提供了藝術背景。
上面的開源在電影和視頻游戲中具有不可思議的潛力,例如增加假雨/晴天/等。

3. AnimeGAN v2
對照片進行卡通化始終是一個有趣的機器學習項目。是不是
AnimeGANv2這個項目是AnimeGAN的改進版本。具體來說,它結合了神經風格轉移和生成對抗網絡(GAN)來完成任務,同時還確保了防止高頻偽像的產生。

4. txtai
AI精致的搜索引擎和質量檢查聊天機器人始終是小時的需求。這正是該項目的目的。
通過使用句子變形器,變形器和fais,txtai構建了一個AI驅動的引擎,用于上下文搜索和提取性問題解答。
實質上,txtai支持構建文本索引以執行相似性搜索并創建基于提取問題的系統。

5.將舊照片帶回生活
接下來,我們有Microsoft最新的照片恢復項目,該項目可以自動修復損壞的照片。
具體來說,它通過利用PyTorch中的深度學習實施來恢復劃痕檢測,面部增強和其他技術,從而使遭受復雜退化的舊照片得以恢復。
根據他們的研究論文:"我們訓練了兩個可變自動編碼器(VAE),分別將舊照片和干凈的照片轉換為兩個潛在空間。并使用合成配對數據學習這兩個潛在空間之間的轉換。由于域間隙在緊湊的潛伏空間中是閉合的,因此這種轉換可很好地推廣到真實照片。此外,為了解決一張舊照片中混合的多種退化問題,我們設計了一個全局分支,該分支具有針對結構化缺陷(例如劃痕和灰塵斑點)的局部非局部塊,而針對非結構化缺陷(例如噪聲和模糊度)的局部分支。
該模型肯定優于傳統方法,如以下演示所示:

6.頭像化
Deepfake項目席卷了機器學習和AI社區。該項目通過讓您在實時視頻會議應用程序中創建逼真的頭像來顯示一個經典示例。
基本上,它使用一階模型從視頻中提取運動,然后通過光流將其應用于目標頭像圖像。這樣,您可以在虛擬相機上生成化身,甚至可以為經典繪畫制作動畫。從Elon Musk到Mona Lisa,您都可以假扮任何人來娛樂!

7.脈沖
這是一個AI模型,展示了如何從低分辨率的人臉圖像生成真實的人臉圖像。
PULSE代表通過生成模型的潛在空間探索進行自我監督的照片上采樣,它基于創建逼真的SR圖像(也可以正確縮小比例),提供了超分辨率問題的另一種表示方式。

8. pixel2style2pixel
基于研究論文"樣式編碼:用于圖像到圖像翻譯的StyleGAN編碼器",該項目使用Pixel2Pixel框架,旨在使用相同的架構按順序解決各種圖像到圖像的任務以避免任何可能的局部偏差。
基于新穎的編碼器網絡,可以訓練該網絡以將面部圖像與額姿對齊,進行條件圖像合成并創建超分辨率圖像。
從漫畫家的照片中產生幾乎真實的人,到將草圖或面部分割轉換為逼真的圖像,您可以做很多事情。

9.伊格爾
這可能是由于預算問題或缺乏清晰的愿景,但尋找具有相關機器學習專業知識的人員始終是初創企業的挑戰。更重要的是,由于該領域始終處于發展之中。
因此,近來無代碼機器學習平臺激增,Google和Apple之類的公司發布了自己的工具集以快速訓練模型。
這個令人愉悅的開源機器學習項目正是通過允許您在不編寫代碼的情況下訓練/擬合,測試和使用模型來做到這一點的。雖然GUI拖放版本仍在開發中,但使用此項目的命令行工具可以實現很多功能:
- //train or fit a modeligel fit -dp 'path_to_your_csv_dataset.csv' -yml 'path_to_your_yaml_file.yaml'
- //evaluateigel evaluate -dp 'path_to_your_evaluation_dataset.csv'
- //predictigel predict -dp 'path_to_your_test_dataset.csv'
還有一個命令igel實驗可以將所有階段結合起來:訓練,評估和預測。有關更多詳細信息,請參閱此處的文檔。

10.姿勢動畫師
最后但并非最不重要的一點是,我們有一個網絡動畫工具。基本上,該項目使用PoseNet和FaceMesh具有里程碑意義的結果,通過利用一些TensorFlow.js模型使SVG矢量圖像栩栩如生。
您可以通過以下方式對自己的設計或骨架圖像進行動畫處理:

結論
這是2020年發布的最流行和最受歡迎的機器學習項目的總結。
謝謝閱讀。