微軟近日對其開發(fā)者工具進行了大量更新，試圖讓生成式AI開發(fā)者的工作更輕松。

軟件和云巨頭微軟表示，這些更新將有助于團隊構建能力更強的、知識更豐富的AI模型，包括專門的Copilot，可以完成更廣泛的企業(yè)相關任務。這次微軟在Microsoft Build 2024上發(fā)布的公告還包括了對Microsoft Azure AI Search以及Azure OpenAI Service的一些重大增強，去年推出的Azure AI Studio平臺也全面上市。

最受生成式AI開發(fā)者歡迎的更新之一就是Microsoft Azure AI Search中的新搜索相關性功能。這是一個用于檢索增強生成（RAG）和企業(yè)搜索的數(shù)據(jù)檢索系統(tǒng)，使AI模型能夠利用客戶的私人數(shù)據(jù)。微軟在Build大會上宣布支持先進的搜索技術，包括混合搜索和重新排名，以及新服務提高了存儲容量以及增加了矢量索引大小，使用戶可以更輕松地擴展他們的生成式AI應用。

微軟解釋說，這些增強功能將有助于為生成式AI模型返回相關性更高的搜索結果，從而提高響應的準確性。此外微軟還宣布了新的數(shù)據(jù)和處理集成，這得益于增加了內置的圖像矢量化功能以幫助本機圖像搜索，以及集成了OneLake以幫助將Azure AI Search和Microsoft Fabric中的數(shù)據(jù)進行連接。

微軟在去年11月推出了Azure AI Studio的預覽版，為開發(fā)者提供了在一個地方創(chuàng)建一系列生成式AI體驗所需的一切。Azure AI Studio作為Azure OpenAI Service一個組成部分，有助于訪問廣泛的大型語言模型、RAG數(shù)據(jù)集成工具，以及智能搜索功能、全生命周期模型管理和AI安全工具。

Azure AI Studio現(xiàn)已全面上市，新增了一些強大的新功能，包括微軟所謂的“代碼優(yōu)先開發(fā)體驗”，是通過與Azure Developer CLI (azd)和AI Toolkit for Microsoft Visual Studio Code工具集成引入的。用戶在這個平臺上很快就能夠通過新模型即服務功能訪問最新的基礎模型，包括OpenAI目前最強大的LLM GPT-4o新模型。

微軟承諾，Azure OpenAI Service本身也增加了大量新功能，包括新的Assistants API，可以幫助開發(fā)者打造更高級的虛擬助手和聊天機器人，并且具有更細致的理解力和響應能力。

參考架構和定制的生成式AI模型

在AI開發(fā)方面，微軟發(fā)布了一系列參考架構以及實施指南，幫助客戶設計和優(yōu)化的智能的AI應用。微軟表示，這么做是為了讓開發(fā)團隊簡單地利用Azure模版和實踐作為一種藍圖，快速構建更可靠的、更具成本效益和合規(guī)性的私有聊天機器人。

微軟表示，Azure OpenAI Service的參考架構即將推出，可以幫助團隊快速啟動聊天機器人的開發(fā)工作。新的著陸區(qū)加速器旨在標準化和自動化支持這些應用所需的云基礎設施部署。此外，開發(fā)者可以使用云指南和服務指南，后者提供了關于設置交付智能應用的Azure服務的更精確說明。

此外微軟還宣布了一種名為“自定義生成”的新模型類型，即將推出預覽版，旨在讓客戶可以從單個文檔開始著手，該服務將指導他們完成架構定義和模型創(chuàng)建的過程。

它的主要優(yōu)點是無需對數(shù)據(jù)進行大量標記，因此用戶能夠以各種格式和模板向客戶生成式AI模型提供更復雜的文檔。微軟表示，通過使用大型語言模型提取相關數(shù)據(jù)字段，只有當特定字段不正確時，用戶才需要更正模型的輸出。通過這種方法，模型就能夠隨著新樣本添加到訓練數(shù)據(jù)集中而進行調整，從而不斷提高響應的準確性和相關性。

Phi-3-視覺

微軟通常是利用和OpenAI的密切合作關系，為開發(fā)者提供機會訪問最強大的大型語言模型。但同時微軟自己也啟動了一些項目，例如Phi系列，規(guī)模較小的大型語言模型，旨在支持筆記本電腦、智能手機和平板電腦等設備上的AI處理。Phi-3-vision現(xiàn)已推出預覽版，是該家族的最新型號。

這是一種新的多模式大型語言模型，旨在支持視覺、圖表、圖形和表格推理。換句話說，它可以理解所看到的內容，無論是周圍世界的視圖、圖像還是各種文檔。微軟表示，它可以轉換輸入的圖像和文本并輸出響應，解釋它所看到的內容。

例如，用戶可以詢問有關圖表或特定圖像的問題，Phi-3-vision將做出準確回答。該模型與Phi-3-small和Phi-3-medium一起作為Azure AI Studio模型即服務目錄的一部分提供給用戶。

Azure AI Speech

Azure AI Speech獲得了許多新的功能，用于構建更高質量的語音應用，而且現(xiàn)在已經開始提供預覽版。

其中包括一項新的語音分析功能，針對那些從音頻和視頻數(shù)據(jù)中提取洞察的模型，實現(xiàn)端到端的工作流程自動化。它集成了轉錄、摘要、語音識別、說話人分類、情感分析等功能，旨在處理客戶反饋、播客、呼叫中心錄音、采訪等內容。

Azure AI Speech也將提供視頻配音功能。據(jù)微軟稱，這是一項新服務，可以把視頻文件翻譯成多種受支持的語言，幫助企業(yè)通過視頻內容吸引全球觀眾。用戶可以通過上傳一個或一系列視頻來創(chuàng)建配音管道，Azure AI Speech可以自動把內容翻譯成所選語言。

AI安全更新

AI安全始終是一個重要主題，微軟通過更新Azure AI Content Safety產品展示了自己對AI安全的重視。

其中的新功能包括自定義類別，可以用于為生成式AI應用創(chuàng)建自定義的過濾器，因此開發(fā)者就可以根據(jù)企業(yè)負責任的AI政策過濾輸出內容。微軟表示，它將幫助用戶開發(fā)出一種更精確的、相關性更高的內容安全方法，提供標準部署和快速部署選項，后者適用于需要在一小時內快速解決的事件。

Microsoft Azure OpenAI Service中提供的Prompt Shields，以及AI Studio and OpenAI Service中的Groundedness Detection功能，為大型語言模型提供了額外的內容過濾工具。微軟表示，這些工具旨在緩解惡意提示注入攻擊方面的“關鍵進展”（在這種攻擊事件中攻擊者的目的是操縱生成式AI模型），以便他們產生“幻覺”，生成錯誤或不準確的響應。

針對教育領域的生成式AI

最后微軟表示，正在和非營利教育組織Khan Academy合作，探索生成式AI在教育領域的潛力。

微軟的合作伙伴正在計劃做一些有趣的事情。例如，微軟向所有美國K-12教育工作者免費提供Khanmigo for Teachers，一款AI驅動的教學助手，可以幫助教師騰出時間與學生互動。除了提供對該服務的免費訪問之外，微軟還提供了額外的Azure資源，以確保它可以擴展以支持預期的新用戶涌入。

與此同時，可汗學院表示，它正在與微軟合作，探索生成式人工智能如何利用最新版本的 Phi-3 來改善數(shù)學輔導，Phi-3 正在非營利組織的私人教育內容上接受培訓。