在 AI 音乐创作领域,近期一款名为 ACE-Step 的开源音乐生成模型正引起广泛关注。
ACE-Step 是由国际知名音乐创作工具 ACE Studio
与 国内知名大模型 StepFun
(阶跃星辰) 联合开发的开源音乐生成基础模型。
其参数量为 3.5B,旨在实现高速、高质量、可控的音乐创作。该模型结合了扩散生成技术、深度压缩自编码器(DCAE)和轻量级 Transformer 架构,支持多语言、多风格的音乐生成。
不仅支持 19 种语言、多风格音乐创作,ACE-Step在A100 GPU上仅需20秒即可生成一首4分钟的完整歌曲,这一速度比传统AI音乐模型快了15倍。
堪称开源界对标 Suno 的重磅 AI 音乐生成大模型之一。
核心功能亮点
-
• 一键生成完整音乐:在 NVIDIA A100 GPU 上,20 秒即可生成一首 4 分钟的完整音乐,速度比传统 LLM 音乐模型快 15 倍。 -
• 多语言支持:支持 19 种语言,包括中文、英文、日语、韩语、俄语、西班牙语等。 -
• 语义精准对齐:利用 REPA 技术(歌词与旋律的语义对齐),使歌词与音乐完美匹配。 -
• 高级控制机制:支持声音克隆、歌词编辑、混音、局部重绘等功能,用户可灵活调整音乐细节。 -
• 多样化输出:支持从歌词直接生成人声样本,提供歌词到人声、文本到采样、说唱生成等功能。 -
• 可视化界面:提供 Hugging Face Space 在线体验和 ComfyUI 插件,方便用户快速上手。
快速上手
ACE-Step 支持本地部署和 ComfyUI 集成,需 Python3.10+ 和 GPU 环境。
ACE-Step 提供有已经部署好的线上 Gradio 界面可以进行体验(地址放文末了)。

如果有条件的小伙伴,本地可部署,具体安装部署步骤如下:
① 克隆项目
git clone https://github.com/ace-step/ACE-Step.git
cd ACE-Step
② 使用Conda创建Python虚拟环境
conda create -n ace_step python=3.10 -y
conda activate ace_step
③ 安装依赖项
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -e .
然后就可以通过以下命令启动端口服务,从而打开 GUI 界面。
acestep --port 7865
命令行参数(选取几个重要的):
• –checkpoint_path: 模型检查点路径(默认:自动下载) • –server_name:Gradio服务器绑定的IP地址或主机名(默认值:’127.0.0.1’) • –port:运行Gradio服务器的端口(默认:7865) • –device_id: 要使用的 GPU 设备 ID(默认:0)
…
应用场景举例
-
• 音乐创作者:快速 Demo 创作、歌词灵感延伸、跨风格编曲 -
• 短视频博主:生成原创 BGM、配音配乐快速匹配 -
• 教育场景:音乐教学内容自动生成、歌词与节奏对齐演示 -
• AI 产品开发者:快速构建 AI 音乐生成 SaaS 服务或插件系统
写在最后
ACE-Step 号称是音乐领域的“Stable Diffusion”,它结合扩散模型(diffusion)、Sana的深度压缩自编码器(DCAE)和轻量级线性Transformer,通过REPA技术(MERT和m-hubert语义对齐)实现快速、高连贯性音乐生成。
仅需20秒即可合成4分钟音乐,比传统LLM模型快15倍,支持19种语言和多种风格,具备声音克隆、歌词编辑等高级控制功能。
适用于从个人创作到专业制作的场景,想快速创作专业级歌曲?ACE-Step值得一试!
GitHub 项目地址:https://github.com/ace-step/ACE-Step
在线Demo:https://huggingface.co/spaces/ACE-Step/ACE-Step

● 一款改变你视频下载体验的神器:MediaGo
● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star
● 最新最全 VSCODE 插件推荐(2023版)
● Star 50.3k!超棒的国产远程桌面开源应用火了!
● 超牛的AI物理引擎项目,刚开源不到一天,就飙升到超9K Star!突破物理仿真极限!

(文:开源星探)