當前的音樂生成模型在生成速度、音樂連貫性和可控性之間面臨著固有的權衡。例如，基于 LLM 的模型（例如 Yue、SongGen）在歌詞對齊方面表現出色，但推理速度慢且存在結構性偽影。 另一方面，擴散模型（例如 DiffRhythm）雖然能夠實現更快的合成速度，但通常缺乏長距離的結構連貫性。對此，人工智能公司階躍星辰（StepFun）與數字音樂平臺 ACE Studio 聯合推出了一款音樂生成基礎模型 ACE-Step-v1-3.5B ，于 2025 年 5 月 7 日開源。該模型在 NVIDIA A100 GPU 上只需 20 秒即可合成長達 4 分鐘的音樂，比基于 LLM 的基線方法快 15 倍， 同時在旋律、和聲和節奏指標方面實現了卓越的音樂連貫性和歌詞對齊。

相較于傳統 AI 音樂工具， ACE-Step 克服了現有方法的關鍵局限性，并通過整體架構設計實現了最佳性能，在多元風格流派、多語言支持、器樂表現力和人聲表現力 4 個方面有著突出優勢。 其開源版本已支持 19 種語言輸入，并且保留了精細的聲學細節，支持高級控制機制，例如語音克隆、歌詞編輯、混音和音軌生成等，此外還支持所有主流音樂風格、多種演唱風格，支持跨流派器樂生成，能精準還原樂器音色特征可生成包含復雜編曲的多軌音樂。

小編借?ACE-Step-v1-3.5B 之手，僅需輸入音樂風格和歌詞等參數，即可快速生成一段 30 秒的音樂片段～

• tag 輸入：funk, pop, soul, rock, melodic, guitar, drums, bass, keyboard, percussion, 105 BPM, energetic, upbeat, groovy, vibrant, dynamic

目前，「ACE-Step：音樂生成基礎模型」已上線至 HyperAI超神經官網的「教程」板塊， 點擊下方鏈接即可體驗一鍵部署教程 ??

教程鏈接： https://go.hyper.ai/tTmib

Demo 運行

1.進入 hyper.ai 首頁后，選擇「教程」頁面，并選擇「ACE-Step：音樂生成基礎模型」，點擊「在線運行此教程」。

2.頁面跳轉后，點擊右上角「克隆」，將該教程克隆至自己的容器中。

3.選擇「NVIDIA GeForce RTX 4090」以及「PyTorch」鏡像，OpenBayes 平臺提供了 4 種計費方式，大家可以按照需求選擇「按量付費」或「包日/周/月」，點擊「繼續執行」。新用戶使用下方邀請鏈接注冊，可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費時長！

HyperAI超神經專屬邀請鏈接（直接復制到瀏覽器打開）：

https://openbayes.com/console/signup?r=Ada0322_NR0n

4.等待分配資源，首次克隆需等待 2 分鐘左右的時間。當狀態變為「運行中」后，點擊「API 地址」旁邊的跳轉箭頭，即可跳轉至 Demo 頁面。由于模型較大，需等待約 3 分鐘顯示 WebUI 界面，否則將顯示「Bad Gateway」。請注意，用戶需在實名認證后才能使用 API 地址訪問功能。

效果演示

該項目提供多任務創作面板：Text2Music Tab、Retake Tab、 Repainting Tab、Edit Tab 和 Extend Tab。

各模塊功能及參數調整簡介如下：

Text2Music Tab

• Audio Duration：設置生成音頻的時長（-1 表示隨機生成）

• Tags：輸入描述性標簽、音樂流派或場景描述，用逗號分隔

• Lyrics：輸入帶有結構標簽的歌詞，如 [verse]、[chorus]、[bridge]

• Basic Settings：調整推理步數、指導比例和種子值

• Advanced Settings：微調調度器類型、CFG 類型、ERG 設置等參數

• 點擊「Generate」按鈕，根據輸入內容創作音樂

Retake Tab

功能： 通過不同種子值重新生成音樂并產生細微變化，調整變化參數以控制新版本與原版的差異程度

• variance：填寫方差

• retake seeds (default None)：填寫隨機數種子

• 點擊「Retake」按鈕，重新生成

Repainting Tab

功能： 選擇性重新生成音樂的特定段落

• variance：方差

• retake seeds (default None)：隨機種子

• Repaint Start Time：指定需要重新生成段落的開始時間

• Repaint End Time：指定需要重新生成段落的結束時間

• Repaint Source：選擇源音頻（text2music、last_repaint 或 upload）

• 點擊「Repaint」按鈕，重新生成
  

Edit Tab

功能： 通過調整編輯參數控制對原曲的保留程度

• Edit Tags：修改標簽來改編現有音樂

• Edit Lyrics：修改歌詞來改編現有音樂

• edit seeds (default None)：編輯隨機種子

• Edit Type：編輯類型，可選擇「only_lyrics」模式（保留原旋律）或「remix」模式（改變旋律）

• Repaint End Time：指定需要重新生成段落的結束時間

• edit_n_min：編輯最小范圍

• edit_n_max：編輯最大范圍

• Edit Source：編輯資源

• 點擊「Edit」按鈕，編輯
  

Extend Tab

功能： 在現有音樂的開頭或結尾添加音樂片段

• edit seeds (default None)：擴散隨機種子

• Left Extend Length：指定左側擴展時長

• Right Extend Length：指定右側擴展時長

• Extend Source：選擇需要擴展的源音頻

• 點擊「Extend」按鈕，擴散