2026 年全球開源數目將超 3 億!關于中國開源生態的答案都在這里了
本文轉自雷鋒網,如需轉載請至雷鋒網官網申請授權。
如果說 AI 是一場饕餮盛宴,數據是原材料,算力是天然氣,算法是菜譜,那么開源就猶如無數廚師經驗與智慧合著成的一本永不完結的烹飪百科全書,其他廚師可以從中汲取經驗來快速完成菜品,也可以指出書中的問題、貢獻更多創意,讓這本書經過無數人的完善后逐漸成為神作。
相關統計數據顯示,全球開源項目數量呈指數級增長,截至 2019 年 GitHub 托管倉庫已有 1.4 億,2019 年新增倉庫 4400 萬個,創建第一個項目的用戶比 2018 年增加 44%。SourceClear 調查報告預測,2026 年全球開源項目數量將超過 3 億。
開源,正處于一片狂歡中。
近日,中國信通院發布了《開源生態白皮書》(以下簡稱白皮書)。白皮書從技術、市場、趨勢、挑戰等多維度,對我國開源產業生態進行了全面、深度的剖析,指出了我國開源產業發展的幾大重要趨勢。
如果您想獲得本報告的全文pdf,請在雷鋒網(公眾號:雷鋒網)微信公眾號回復關鍵詞“ 1022報告”提取。
文檔來源:中國信通院
一、開源生態概述
1、開源概念逐漸明晰
開源既是一種協作模式,也是一種特性的產品。
開源形態最早出 現于上世紀六十年代,軟件代碼附屬硬件產品以開源的形式分發。1983 年,Richard Matthew Stallman發起 GNU 計劃,推動自由軟件概念,成為開源軟件早期形態。
開源軟件明確定義由 1998 年 OSI 給出,包括十大特性,即自由再發布、源代碼公開、允許派生作品、作者源代碼完整性、不能歧視任何個人或團體、不能歧視任何領域、許可證的發布、許可證不能只針對某個產品、許可證不能約束其他軟件、許可證必須獨立于技術。
從過程維度看,開源是一種分布式協作模式,從結果維度看,開源是一種特定形態的產品,具有公開、可使用、可修改、可分發特點。
開源軟件比自有軟件更寬松,開源軟件與免費軟件無直接對應關系,公開代碼不一定是開源軟件。
開源生產模式逐漸成為新一代軟件開發模式。隨著產業數字化發展,信息技術需要滿足業務場景發展需求,具有海量數據處理能力,快速上線迭代特點,多場景異構兼容性,傳統軟件封閉開發模式在創新度、迭代速度上均存在一定限制。
開源開發模式具有公開透明的特點,有效聚集優質開發人員,形成分布式協作,推動產品快速迭代,同時豐富企業商業模式,促進科技公司良性競爭。
2、開源生態以開源項目為中心構建
開源生態以開源項目為中心構建,依托開源社區協作形成軟件、硬件等開源項目。涉及開源貢獻者、開源使用者、開源運營者、開源服務者多重角色,包含開源治理、開源運營、開源商業布局等多個環節,需要滿足開源規則要求,依托代碼托管平臺等基礎設施構建。
微觀層面開源生態依托四大角色進行有效協作。
開源生態涉及開源貢獻者、開源使用者、開源運營者、開源服務者等多個角色,企業和個人均可參與。
對于開源貢獻者和開源服務者,開源是實現商業布局的一種途徑,可將開源布局與商業產品布局進行有效結合,推動用戶使用,在應用層面有效降低邊界成本,擴大用戶使用范圍。
對于開源使用者,開源模式推動產品快速迭代,激發產品創新,豐富產業側供應體系,建立用戶需求聯動機制。
宏觀層面開源生態涉及開源運營、開源治理、開源商業布局、開源規則、基礎設施等多個要素。
二、開源生態發展現狀
1、開源數量持續攀升,我國開源覆蓋全棧技術領 域
全球開源項目數量呈指數級增長。根據全球最大開源代碼托管平臺 GitHub 年度報告數據顯示,截至 2019 年 GitHub 托管倉庫已有 1.4 億,2019 年新增倉庫 400 萬個,創建第一個項目的用戶比 2018 年增加44%,130 萬開發者對開源做出首次貢獻。SourceClear 調查報告指出開源項目已呈現指數級增長趨勢,2026 年預計超過 3 億。
-
活躍開源項目集中在新興技術領域
2019 年 GitHub 代碼倉庫中,人工智能、云計算等新技術領域開源項目關注度較高,微軟的源碼編輯器VSCode、機器學習文檔 AzureDocs 是 2019 年 GitHub 上貢獻者最多的開源項目,其次是谷歌的機器學習平臺 TensorFlow、容器編排平臺 Kubernetes 和 Facebook 的移動應用開發框架 React Native框架。
-
我國自發開源項目覆蓋全棧技術領域
我國自發開源項目涵蓋底層操作系統、物聯網操作系統和編譯器,中間層邊緣計算、容器、中間件、微服務、數據庫和大數據,上層前端開發、移動開發和UI框架,另外還有人工智能領域、運維和其他熱門開源項目,基本覆蓋目前主要的技術領域,接近 30 個的開源項目已經捐贈給開源基金會,走向國 際。
2、開源占據各領域主要市場份額,我國開源應用逐年攀升
全球基礎軟件領域,開源占據主要市場份額。基礎軟件主要包括操作系統,數據庫和中間件,操作系統可以細分為 PC 操作系統、手機操作系統、物聯網操作系統、超級電腦操作系統等。
根據 Linux 年度報告,在操作系統領域,Linux 分別占據 100% 的超級計算機市場和 82% 的智能手機市場,桌面操作系統市場排名第二;數據庫可以分為關系型數據庫與非關系性數據庫,非關系型性數據庫又可以細分為文檔型數據庫、圖數據庫、時序數據庫、K-V存儲數據庫等。
根據 DB-Engines 數據顯示,截至 2020 年 9 月全球開源數據庫 182 個,已超過商業數據庫 176個;中間件可以按照功能分為消息中間件、事務中間件與遠程過程調用(RPC)中間件。
根據 enlyft 數據顯示,ApacheKafka 占據應用集成領域 16.5%市場份額,同類型競品中排名第一,Seata、Dubbo 也分別在事務中間件與 RPC 領域占據領先地位。
-
全球新興技術領域,開源成為主要技術路徑
云計算領域涉及虛擬化、虛擬化管理等多個技術,以容器為代表的云原生技術路徑是未來云計算發展趨勢。
根據 CNCF 調查報告,2019 年 84% 的公司在生產中使用容器,其中 78% 的用戶使用 Kubernetes 進行容器集群管理;大數據領域,大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用等關鍵技術。
根據 QYRescearch 調查顯示,到 2025 年全球 Hadoop 市場預計將達到 6708 億美元,2017-2025 年年均增長 65.6%,亞馬遜 EMR、谷歌 Dataproc、阿里云 E-MapReduce 和 AzureHDInsight 均選擇基于 Hadoop 構建。
人工智能領域涉及機器學習、知識圖譜、自然語言處理、人機交互、計算機視覺、生物特征識別、AR/VR 等技術,其中機器學習框架是關鍵技術,TensorFlow 擁有 8 萬多 Fork 數,位居同類型產品排名第一,Caff 和 Keras 在學術界和工業界應用廣泛,三者穩居深度學習庫前三名。 我國開源軟件應用比例略有提升。
根據信通院調查顯示,2019 年我國企業已經使用開源技術的企業占比為 87.4%,比去年增長 0.7%,暫未計劃使用開源技術的企業占比為 2.3%,比去年降低 0.4%,我國企業對開源技術的接受程度較高,使用開源技術已成主流。
-
節約成本,大大縮短應用部署時間,成為我國企業選擇使用開源技術最主要的原因
有 50.8% 的開源用戶企業認為使用開源技術可以節約成本,比去年增長 8.9%,認為使用開源技術可以大大縮短應用部署時間的企業占比為 45.1%,另外自主性、可控性(30.3%)和降低試錯風險(20.7%)也是企業認為使用開源技術的兩個優點。
-
我國超半數企業使用開源軟件應用于數據庫方向
企業在數據庫方面對開源軟件的使用比例最高,占比為 58.7%,其次企業對大數據和存儲的開源軟件使用占比也均超過五成,分別為 52.4% 和 51.2%,另外有 48.4% 的企業在網絡方面使用開源軟件,有 46.3%的企業選擇在云計算方面使用開源軟件。
-
我國云計算領域已普遍應用云計算開源技術
據中國信通院調查,云計算開源解決方案部署虛擬服務器的個數在 500 以內的企業占比最高,達到33.5%,虛擬服務器個數在 500 個以上的企業占比 25.8%,還有 35.4% 的企業已少部分試用部署虛擬服務器。
-
我國超過七成的企業已經應用開源容器技術
據調查,40.7% 的企業已經使用了容器技術,相比 2018 年提高了 4.3% ;其次,正在測試容器技術應用環境的企業占比達到 323%,比去年減少 1.9 個百分點。此外,還有 19.1% 的企業正在評估容器技術。
-
微服務領域以開源技術路徑為主,我國超過六成企業已經應用或正在測試微服務框架
在對企業微服務框架使用情況的調查中發現,24.8% 的企業已經應用微服務框架,相比 2018 年提高 2.0%;其次,正在測試環境的企業占比達到 34.4%,與去年相比提高 2.8%;此外,還有 27.6% 的企業正在評估微服務框架。
-
Jenkins是目前我國企業使用最廣泛的開源集成工具
調查發現,在諸多開源集成工具中,Jenkins 的使用比例最高,達到 36.8% ;其次,分別有 32.9% 和21.1% 的企業表示已經應用 TeamCity 和 GitLab CI。此外,使用 Go CD 的企業占比為 9.2% 。
3、開源企業數量保持穩定增長,我國企業呈現主動開源趨勢 ,全球參與開源生態的企業數量激增
全球企業一方面積極參與開源代碼貢獻,截至 2019 年 12 月 GitHub 參與的企業數接近 300 萬;
另一方面積極跟進開源組織,目前 Linux 基金會企業會員數超過 1500,是 5 年前會員數的 5 倍。
-
我國企業近年開源熱度提升
近兩年來,我國頭部科技公司貢獻大量開源項目,百度、阿里、騰訊和華為等企業開源數量連年增長。
-
技術共建是我國企業參與開源的主要動機
根據信通院調查,60.7% 的企業希望通過建設開源生態的方式影響共建技術,實現產品的完善與提升,其次,有 41.4% 的企業希望能借助開源項目擴大企業名氣。
-
大范圍發起開源的企業仍占少數
信通院調查發現,我國自發開源企業中,開源項目數量小于10個的企業占比為40.1%,僅有44%的企業開源項目數量超過100個。
-
GitHub 成為我國自發開源企業首選的開源代碼托管平臺
對開源自發企業調查發現,企業開源項目時最多考慮的代碼托管平臺是美國公司運營的 GitHub,比例高達46.1%,其次選擇的代碼托管平臺是中國公司運營的Gitee,占比為32.8%,另外還會考慮的開源代碼托管平臺是GiLab(美國公司運營)和Coding(中國公司運營)。
-
超六成開源服務軟件提供閉源軟件
調查的開源服務企業中,有67.4%的企業擁有基于開源軟件的閉源軟件,說明開源服務企業提供開源服務時大多通過售賣封裝好的閉源軟件創造商業價值。
-
云計算和數據庫是開源服務企業的兩大熱門領域
調查顯示,2019 年中國開源服務企業中 51.9%是基于云計算領域的開源軟件進行二次開發提供開源服務,有 47.8% 的產品是基于數據庫領域的開源軟件進行二次開發,此外網絡(28.8%)和人工智能(26.3%)類開源軟件也是開源服務企業進行二次開發主要選擇的兩個領域。
4、開源基金會成為開源運營重要角色
目前主流的開源基金(Linux基金會、Apache基金會等)是在美國國稅局注冊的501(CX3)或501Cc)非盈利機構,近年來開源基金會會員數及托管項目數不斷擴充,我國企業積極參與國際開源基金會。
5、各行業開源生態已經形成,我國行業積極擁抱開源
全球各行業開源應用均占據較高比例。根據新思科技發布的《2020開源安全與風險分析報告》調查顯示,在可掃描的代碼范圍內,在互聯網和軟件基礎設施行業以及物聯網行業的代碼庫中分別有83.4%和82.1%是開放源代碼;
其次,在教育技術、網絡安全、營銷技術領域開源代碼分別占比78.8%,78.4%和78.1%;金融服務和技術(75.3%)、能源和清潔技術(71.6%)、以及娛樂媒體行業(70.1%)也都是開源代碼應用的熱門領域。
-
全球傳統行業積極跟進開源組織,并形成行業特色開源社區
2019 年 Github 企業賬號超過 300 萬,AT&T、摩根大通、西門子等行業用戶積極參與開源貢獻;Linux基金會會員同樣覆蓋重點行業用戶,包括通用、NTT、富士通、中國移動、民生銀行等。
重點行業及領域逐步形成特定開源社區,對于電信行業,Linux 合并的六個項目(ONAP、OPNFV、OpenDaylight、FD.io、PDNA和 SNAS)成立LFN 工作組,白金會員中覆蓋全球 60% 運營商;
金融行業,2016 年成立金融行業開源社區(FINOS),2020 年成為Linux基金會的子基金會;
邊緣計算領域,Linux基金會在 2019 年成立LFEDGE基金會,旨在建立獨立于硬件、芯片的一個開放的、可互操作的邊緣計算框架。
-
我國互聯網、金融、軟件和信息技術服務行業是開源服務企業主要的服務對象
開源服務企業對互聯網服務的占比最高,為 40.8%,其次是服務軟件和信息技術行業,達到32.6%,金融業也是開源服務企業的重要服務對象,服務占比達31.6%。
6、開源風險問題凸顯,成為開源應用屏障存在漏洞的開源軟件占比較高
根據BD《2020開源安全與風險分析報告》顯示,75%的代碼庫至少含有一個漏洞,49%的已審核代碼庫包含高風險漏洞,發現最多的高危漏洞為CVE-2018-16487,在513個代碼倉庫中發現此漏洞(高風險Lodash原型污染漏洞)。
7、全球開源治理理念興起,我國初步形成開源治理模式
-
我國企業逐步關注統一開源治理
開源軟件數目龐大,統籌管理困難成為企業最關注的開源軟件引入風險點,23.6% 的受訪企業有統一管理流程和管理團隊,13.4%的企業有白名單或黑名單機制,55.1%的企業目前對引入的開源項目沒有統一管理,主要由開發運維團隊分散管理。
-
開源軟件數量龐大是開源治理的主要難點
對開源用戶企業調查 發現,開源軟件數量龐大,統籌管理困難是企業關注的開源軟件引入的最主要風險,占比達到63.4%,技術更新迭代快、運維成本高(52.8%) 和安全漏洞威脅嚴重(50.2%)也是企業認為引入開源軟件會遇到的主要風險。
三、開源成為企業商業布局的重要手段
企業可通過主動開源進行商業布局,一是積極跟進相關領域頂級開源項目,深度參與開源貢獻,影響開源技術路線;二是建立自發開源生態,將有可能影響市場格局的項目開源,同時培育潛在用戶,推動形成事實標準;三是收購特定領域開源企業,與自身商業產品配合,擴大用戶市場;四是結合開源項目提供開源服務,通過開源服務實現商業轉化。
1、全球開源企業已啟動收購模式,進一步擴大用戶群體
IBM 在過去五年中投入開源近 10 億美元;微軟 2018 年以 75 億美元收購GitHub。
2、全球開源企業積極布局開源,率先在基礎軟件領域發力,帶動整體商業布局
頂級科技公司成為開源的重要貢獻者,微軟、谷歌、紅帽、英特爾等頂級科技公司的員工是開源項目的重要貢獻者。
根據Github統計,微軟有7700名員工參與開源投入,谷歌有5500人參與開源投入。谷歌開源移動操作系統Android,截止2019年8月,在全球移動操作系統市場中占有率高達 75.44%;開源 PC操作系統ChromeOS,在美國有一定市場地位,其市場占有率高達4.82%。微軟開源跨平臺編譯器VScode,自2016年起連續占據GitHub開源項目TOP10,2018-2019穩居榜首,由它部署的Azure在2018年市場收益達到48.6億美元,占據云計算市場17%份額;Facebook開源對象關系數據庫服務器PostgreSQL,2020年3月,DB-Engines 數據庫流行度排行榜第四名。
3、我國開源企業已初步構建形成有影響力的開源項目
我國積極跟進國際開源生態。參與國際頂級開源社區反饋,實現技術輸出,共建技術路徑,GitHub國內貢獻數 117萬,在全球占比11.8%,Linux項目中國在全球貢獻度排名第三。
4、頭部科技公司在基礎軟件領域的開源項目呈增長趨勢,開源將成為未來新技術發展的重要抓手
華為開源服務器操作系統 EulerOS,跨平臺的操作系統 HarmonyOS,單機版數據庫GaussDBOLTP,全場景 AI計算框架 MindSpore;騰訊開源輕量級物聯網實時操作系統TencentOS tiny,萬億級分布式消息中間件 TubeMQ,企業級分布式HTAP數據庫管理系統 TBase;阿里開源實時計算平臺Blink,云服務器架構"方升",關系數據庫OceanBase。
四、開源生態未來發展趨勢與建議
1、發展趨勢
-
開源從個人行為逐漸發展成為企業行為
開源雖起源于個人行為,但由于開源的協作模式和產品特點,影響商業產品的市場格局,企業層面逐漸借助開源模式實現市場布局,企業層面通過主動布局開源,減低邊界成本,引導事實標準,改變市場競爭格局,同時吸納多方參與,激發產品創新,滿足用戶多場景需求;國內逐步主動布局基礎軟件領域開源生態,國內早期開源生態發展最早集中在應用側開發軟件領域,雖開源項目數量百萬級別,但具有國際影響力的開源項目不足,近年來國內企業逐漸側重基礎軟件領域開源項目布局,在操作系統、數據庫、中間件等領域涌現多個開源項目,不乏國際基金會的頂級開源項目。
-
基金會與聯盟開源運營呈現多 態發展趨勢
開源聯盟組織將持續推進與企業的開源運營合作,我國開源基金會逐步形成穩定流程機制,國內開源聯盟組織相對靈活,覆蓋主要技術領域,可借助聯盟標準化與行業推廣優勢,推動我國自發開源項目應用;國際仍以開源基金會作為主要運營載體,為開源項目運營提供有力法律、協作支撐,建立與國內外開源組織、標準化組織建立聯動機制,推動開源項目建立生態。
-
開源風險問題得到關注,開源治理體系逐步建立
開源項目雖最終形成軟件、硬件等最終形態,但需要滿足開源許可證要求,相比通用軟件具有一定的使用范圍和規則要求。
未來開源風險問題進一步凸顯,開源應用情況逐漸透明,開源違約、兼容性、被開源等風險進一步暴露,全球開源違約判例可能進一步增加,企業內部逐步建立開源治理體系應對開源風險,通過開源管理機制及平臺規避開源風險。
-
行業開源生態興起
行業用戶在開源生態的角色逐漸發生轉變,從開源使用到自發開源發展,金融、工業互聯網、電信、政府采購等行業逐漸探索行業內開源生態構建,將企業內部信息建設代碼脫敏輸出,借助開源公開透明的特點快速迭代,形成滿足行業屬性的特定開源項目,逐步形成行業開源協作機制,實現行業輸出戰略布局。
2、建議
-
企業側建立穩定的開源模式
我國自發開源企業需要建立穩定的開源商業模式,一是針對國際基金會頂級開源項目,建立社區反饋和聯動機制;二是建立自主開源生態,重點在操作系統、數據庫、中間件等基礎軟件領域探索開源。
-
第三方快速完善開源運營機制
一是國內開源聯盟組織持續推進與企業的開源運營合作,借助聯盟標準化與行業推廣優勢,推動我國自發開源項目應用;二是開源基金會形成穩定的決策機制,項目孵化流程,為國內開源項目運營提供有力知識產權托管以及法律、協作支撐。
-
構建開源治理體系
針對自發開源企業、開源使用企業建立開源軟件管理體系,第三方組織需制定開源軟件治理的行業標準,通過制定開源軟件管理規則,幫助企業規范開源軟件的使用和輸出,實現企業軟件的全覆蓋和全流程管理,同時配套建設開源風險檢測、開源生態監測等平臺,推動企業落地開源治理體系建設。
AI 于開源而言,或許與其他軟件別無二致。而開源于 AI 而言,卻是促進 AI 應用創新與更多行業智能化普及的重要驅動力。
當前我國在 AI 應用層基本站穩腳跟,在數據資源、數理人才、市場環境等方面均有很大優勢,再加上戰略引領、政策支持助力,AI 開源開放平臺、完整 AI 生態鏈的相關建設正在持續推動中。
這或許會是一個長期的工作,不僅需要產學研各類機構的協同努力,也需要更多開發者的鼓勵與支持。