我想做一個嘗試，看看能不能用盡量清晰的邏輯，給“AI外行人士”（當然，我也是）引入一下LangChain，試著從工程角度去理解LangChain的設計和使用。同時大家也可以將此文檔作為LangChain的“10分鐘快速上手”手冊，本意是希望幫助需要的同學實現(xiàn)AI工程的Bootstrap。文中所有的示例代碼都已托管到GitHub：https:github.comTuGraphcontriblangchaindemo，喜歡實操的小伙伴可以邊閱讀，邊復現(xiàn)。一、引言1.1什么是LangChain？正式開...

1、背景RTPLLM是阿里巴巴大模型預測團隊開發(fā)的大模型推理加速引擎，作為一個高性能的大模型推理解決方案，它已被廣泛應用于阿里內(nèi)部。該引擎與當前廣泛使用的多種主流模型兼容，并通過采用高性能的CUDA算子來實現(xiàn)了如PagedAttention和ContinuousBatching等多項優(yōu)化措施。RTPLLM還支持包括多模態(tài)、LoRA、PTuning、以及WeightOnly動態(tài)量化等先進功能。隨著大模型的廣泛應用，如何降低推理延遲并優(yōu)化成本已成為業(yè)界關注的焦點。我...

今天給大家?guī)淼脑掝}是AIGC趨勢下的軟件工程重塑。今天這個話題主要分為以下四大部分。第一部分是AI是否已經(jīng)成為軟件研發(fā)的必選項；第二部分是AI對于軟件研發(fā)的挑戰(zhàn)及智能化機會，第三部分是企業(yè)落地軟件研發(fā)智能化的策略和路徑，第四部分是我們現(xiàn)有的可采納的、可落地的工具，在這一部分我也會重點介紹通義靈碼整體的產(chǎn)品能力和概況。01、AI已經(jīng)成為軟件研發(fā)的必選項這張圖是麥肯錫最近發(fā)布的一個研究報告，大家可以看到他把...

我在這里想向大家介紹1688嚴選和商品品質(zhì)化之旅。去年，我們推出了1688嚴選，面臨的挑戰(zhàn)是如何讓買家相信我們的商品真的經(jīng)過了嚴格的篩選。為了解決這個問題，我們定義了“嚴選”標準，并運用AIGC技術規(guī)模化生產(chǎn)和投放品質(zhì)化商品主圖，以提高買家的信任度。盡管我們面臨圖源質(zhì)量、合圖標準和流程自動化等挑戰(zhàn)，但我們通過技術創(chuàng)新和優(yōu)化流程，大幅提升了效率，如今能每天快速制作高達幾萬張品質(zhì)主圖，為1688商人節(jié)大規(guī)模投放做...

一、背景時間步入了2024年，新的技術趨勢，如大模型AIGC多模態(tài)等技術，已經(jīng)開始與實際業(yè)務相結合，并開始生產(chǎn)落地。這些新的技術趨勢不僅提高了算力的需求，也給底層基礎設施帶來了更大的挑戰(zhàn)。在計算方面，以GPU和FPGA等異構硬件為例，他們通過短周期的迭代和演進來適應不斷變化的需求。阿里集團通過統(tǒng)一調(diào)度、統(tǒng)一資源池以及全面彈性等調(diào)度手段滿足了復雜的計算需求。在存儲方面，經(jīng)典的微服務應用通過云原生化的方式，兼顧了...

01、引言LoRA(LowrankAdapter)在大模型（如GPT3，LLama,Qwen等）中，是一種重要的微調(diào)技術。該技術通過在不改變預訓練模型參數(shù)的同時，添加低階矩陣，學習新的、特定于任務的參數(shù)。這種微調(diào)方式不僅維持了模型的高效性能，也顯著提升了模型訓練和部署的效率。然而當對basemodel進行規(guī)模化多任務微調(diào)時，相關部署成本可能會顯著增加。基于實際應用場景，成本和效率考慮，我們在RTPLLM框架上實現(xiàn)了兩種LoRA方法：靜態(tài)LoRA和動態(tài)Lo...

01、前言從2022年底chatGPT的一炮走紅開始，基于大語言模型的對話應用如雨后春筍一般全面開花。剛剛過去的2023年是千帆競發(fā)的一年，在這一年里我們見證了百模大戰(zhàn)，開源模型社區(qū)可謂繁榮昌盛：從llama到它的無數(shù)變體、qwen系列的完整中文大模型生態(tài)構建、Mixtral等多模態(tài)的成功嘗試、再到llava等視覺大語言模型的蓄勢待發(fā)。在語言模型上，我們已經(jīng)有了十分豐富的選擇，這些模型在RTPLLM上都得到了較好的支持，可以高效地完成推...

01Havenask介紹Havenask是阿里巴巴廣泛使用的自研大規(guī)模分布式檢索系統(tǒng)，是過去十多年阿里在電商領域積累下來的核心競爭力產(chǎn)品，廣泛應用在搜推廣和大數(shù)據(jù)檢索等典型場景。在2022年云棲大會云計算加速開源創(chuàng)新論壇上完成開源首發(fā)，同時作為阿里云開放搜索OpenSearch底層搜索引擎，OpenSearch自2014年商業(yè)化，目前已有千余家外部客戶。02向量檢索近年來，隨著短視頻、電商等領域的繁榮，產(chǎn)生了越來越多的非結構化數(shù)據(jù)，如圖片、...