突然爆火的开源AI音乐生成模型：YuE，支持多语言、多风格、多专业级声乐表现！

音乐创作往往是灵感和技巧的结合，然而，创作一首完整的歌曲却需要大量的时间和专业知识。特别是如果你想要一首不只是简单的伴奏，而是拥有完整结构、丰富演唱表现和不同音乐风格的歌曲，这无疑是一个巨大的挑战。

此前有一些闭源的音乐模型已经取得了很好的效果，比如：Suno、udio、海绵音乐等等。

但在除夕前后有一款开源的音乐模型： YuE，突然就爆火起来了！

借助它可以生成长达5分钟的，包含人声和伴奏的高质量、完整音乐。

不仅支持多种语言，还能涵盖从流行到金属等各种风格，甚至带有独特的声乐表现。

项目简介

YuE 是一款基于 AI 技术的开源音乐生成模型，它能够从用户提供的歌词生成完整的歌曲。

YuE 不仅仅是生成旋律或伴奏，它能够在同一作品中结合人声与伴奏，提供完整的音乐结构。这意味着，你可以从一段歌词开始，得到一首高质量、具有完整曲式的音乐作品。

无论是前奏、主歌，还是合唱、桥段，YuE 都能精确生成。

当然它最大亮点是其多模态的能力，它不仅支持跨语言生成，还能在多种音乐风格中进行创作。

无论你喜欢金属、爵士，还是流行，甚至是混合语言的嘻哈风格，YuE 都能根据输入的歌词进行自动生成。

目前，YuE 自开源以来，收获了1.1k+ star，吸引了大量开发者和音乐创作者的关注。

特色功能

1、歌词到音乐的无缝转化

YuE 的核心功能是将给定的歌词转化为一首完整的音乐。

这意味着，用户只需提供歌词，YuE就能自动生成歌声与伴奏。

生成的歌曲不仅有歌词内容，还有与之契合的音乐元素，如和弦、节奏和旋律，确保歌曲完整且富有表现力。

2、多语言支持

YuE 支持多种语言生成，包括英语、中文、日语和韩语，甚至能够处理不同语言之间的混合。

例如，你可以创作一首中英混合的嘻哈歌曲，这也是大多数音乐的创作形式。

3、多种音乐风格生成

无论你喜欢哪种音乐风格，YuE 都能够生成与之匹配的歌曲。其支持的风格包括但不限于：

• • 金属 (Metal)：激情澎湃，适合表达强烈情感。

• • 爵士 (Jazz)：自由、灵活，充满创意。

• • 流行 (Pop)：适合大众，轻松愉悦。

• • 乡村 (Country)：质朴、自然。

• • 抒情 (Ballad)：柔情、深情。

• • 另类摇滚 (Alternative Rock)：创新与自由的结合。

• • 儿歌 (Children’s Song)：简单、富有童趣。

4、专业级声乐表现

YuE不仅仅是一个简单的“歌声生成器”，它还能够展现专业级的声乐技巧。比如：

• • 即兴演唱 (Scatting)：无词旋律的即兴创作，非常适合爵士风格。

• • 低吼 (Death Growl)：极限的演唱方式，常见于金属音乐，带有强烈的情感表达。

• • 混声 (Mix Voice)：融合胸声和头声的演唱技术，适合多种风格的演绎。

5、大规模参数，强大生成能力

YuE包含了62.2亿个参数，这使得它在音乐创作中能够理解更复杂的音符、旋律和结构，为创作者提供更加精确和高质量的音乐生成。

YuE 能够生成长度达五分钟的完整歌曲，音质上达到专业级别。这对于需要制作长篇音乐作品的用户来说，YuE 是一个非常强大的工具。

快速使用

YuE 对于硬件要求比较高：24GB 或以下内存的 GPU：最多可同时运行 2 个会话。对于完整歌曲的生成（多个会话，如 4 个或更多会话），使用至少拥有 80GB 内存的 GPU。

① 创建Python虚拟环境，安装 AI 依赖包

conda create -n yue python=3.8 # Python >=3.8 is recommended.
conda activate yue

conda install pytorch torchvision torchaudio cudatoolkit=11.8 -c pytorch -c nvidia
pip install -r requirements.txt

pip install flash-attn --no-build-isolation

② 下载推理代码和分词器

git lfs install
git clone https://github.com/multimodal-art-projection/YuE.git

cd YuE/inference/
git clone https://huggingface.co/m-a-p/xcodec_mini_infer

③ 运行推理

# This is the CoT mode.
cd YuE/inference/
python infer.py \
    --stage1_model m-a-p/YuE-s1-7B-anneal-en-cot \
    --stage2_model m-a-p/YuE-s2-1B-general \
    --genre_txt genre.txt \
    --lyrics_txt lyrics.txt \
    --run_n_segments 2 \
    --stage2_batch_size 4 \
    --output_dir ./output \
    --cuda_idx 0 \
    --max_new_tokens 3000 

写在最后

YuE 是一款集多语言支持、多风格创作、专业级演唱技巧于一体的多模态音乐生成模型，它不仅极大提升了音乐创作的效率，也为创作者提供了更多的创作自由。

无论你是音乐爱好者、专业创作者，还是希望探索AI与艺术结合的开发者，YuE 都能为你打开全新的创作大门。

不需要复杂的乐理知识，不需要高昂的制作成本，YuE 让每一个人都能成为音乐创作的“编曲师”。

GitHub 项目地址：https://github.com/multimodal-art-projection/YuE

项目主页：https://map-yue.github.io

YuE模型：https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot