集音视频翻译、配音、语音克隆于一体!一站式视频多语言转换工具Krillin AI

作者

项目简介

Krillin AI 是一款全能型音视频本地化与增强解决方案。这款简约而强大的工具，集音视频翻译、配音、语音克隆于一身，支持横竖屏格式输出，确保在所有主流平台（哔哩哔哩，小红书，抖音，视频号，快手，YouTube，TikTok等）都能完美呈现。通过端到端的工作流程，Krillin AI 仅需点击几次，就能将原始素材转化为精美即用的跨平台内容。


主要特点与功能：

🎯 一键启动：无需复杂的环境配置，自动安装依赖，立即投入使用

📥 视频获取：支持yt-dlp下载或本地文件上传

📜 精准识别：基于Whisper的高准确度语音识别

🧠 智能分段：使用LLM进行字幕分段和对齐

🔄 术语替换：一键替换专业领域词汇

🌍 专业翻译：基于LLM，段落级翻译保持语义连贯性

🎙️ 配音克隆：提供CosyVoice精选音色或自定义音色克隆

🎬 视频合成：自动处理横竖版视频和字幕排版


效果展示

下图为46分钟的本地视频导入，一键执行后生成的字幕文件入轨后的效果，无任何手动调整。无缺失、重叠，断句自然，翻译质量也非常高。 

字幕翻译
配音


语言支持

输入语言支持：中文，英文，日语，德语，土耳其语（持续增加中）

翻译语言支持：英文，中文，俄语，西班牙语，法语等56种语言


界面预览


🚀 快速开始

基本步骤

  1. 下载Release中与你设备系统匹配的可执行文件，放入空文件夹
  2. 在文件夹内创建config文件夹，然后在config文件夹创建config.toml文件，复制源代码config目录下的config-example.toml文件的内容填入config.toml，并对照填写你的配置信息。（想用openai模型但不会获取key的可以加群免费试用）
  3. 双击，或在终端执行可执行文件，启动服务
  4. 打开浏览器，输入http://127.0.0.1:8888，开始使用 (8888替换成你在配置文件中填写的端口)


To: macOS用户

本软件没有做签名，因此在macOS上运行时，在完成“基本步骤”中的文件配置后，还需要手动信任应用，方法如下：

  1. 在终端打开可执行文件（假设文件名是KrillinAI_1.0.0_macOS_arm64）所在目录
  2. 依次执行以下命令：
 sudo xattr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64 sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64 ./KrillinAI_1.0.0_macOS_arm64
  1. 即可启动服务


Docker部署

本项目支持Docker部署，请参考Docker部署说明


Cookie配置说明(非必选)

如果你遇到视频下载失败的情况

请参考 Cookie 配置说明 配置你的Cookie信息。


配置帮助（必看）

最快速便捷的配置方式：

  • transcription_provider
    和llm_provider都选择openai，这样在下方openai、local_model、aliyun三个配置项大类里只需要填写openai.apikey就可以进行字幕翻译。(app.proxy、model和openai.base_url按自己情况选填)

使用本地语言识别模型（暂不支持macOS）的配置方式（兼顾成本、速度与质量的选择）

  • transcription_provider
    填写fasterwhisper，llm_provider填写openai，这样在下方openai、local_model三个配置项大类里只需要填写openai.apikey和local_model.faster_whisper就可以进行字幕翻译，本地模型会自动下载。(app.proxy和openai.base_url同上)

以下几种使用情况，需要进行阿里云的配置：

  • 如果llm_provider填写了aliyun，需要使用阿里云的大模型服务，因此需要配置aliyun.bailian项的配置
  • 如果transcription_provider填写了aliyun，或者在启动任务时开启了“配音”功能，都需要使用阿里云的语音服务，因此需要填写aliyun.speech项的配置
  • 如果开启了“配音”功能，同时上传了本地的音频做音色克隆，则还需要使用阿里云的OSS云存储服务，因此需要填写aliyun.oss项的配置
    阿里云配置帮助：阿里云配置说明



项目链接

https://github.com/krillinai/KrillinAI/blob/master/docs/README_zh.md

扫码加入技术交流群，备注「开发语言-城市-昵称」

（文：GitHubStore）

发表评论