之前也给大家推荐过几个视频转录翻译加字幕的开源工具。
今天给大家推荐的是KrillinAI,跟之前那些的区别主要是有两个:
1、字幕的分块对齐用的大模型
2、增加了TTS,也就是能把翻译后的字幕读出来。
这类应用的场景还是很多的,跨平台的短视频需求直接就能满足了。
效果还不错,大家可以体验下。
项目简介
KrillinAI 是基于 AI 大模型的专业视频翻译配音工具,支持一键全流程部署,能生成适配抖音、小红书、哔哩哔哩、视频号、TikTok、YouTube Shorts 等平台的内容。具备精准字幕识别、智能分段、专业翻译、术语替换、配音及语音克隆等功能,轻松实现视频本地化与格式转换,跨平台内容创作一键解决。
DEMO
下图是导入46分钟本地视频一键生成的字幕文件插入轨道后的效果,没有字幕重叠。
功能特点
全流程自动化:支持一键启动翻译、配音、格式转换等全流程操作,无需手动调整,新手友好。
视频下载与导入:支持本地文件上传及通过 yt-dlp 下载网络视频(如 YouTube)。
精准字幕生成:基于 Whisper 实现高准确率语音识别,自动生成时间轴对齐的字幕。
智能分段与翻译:通过 LLM 进行字幕智能分块和段落级专业翻译,确保语义连贯,支持 56 种目标语言。
配音与语音克隆:提供预设语音,如 CosyVoice或自定义语音克隆功能,满足个性化音频需求。
跨平台适配:自动优化视频格式横竖屏,适配抖音、小红书、TikTok、YouTube Shorts 等主流平台内容形态。
灵活部署与配置:
-
提供桌面版,简化配置,适合新手,和非桌面版,支持服务器部署,含 Web UI。
-
支持 Docker 部署,适配不同使用场景,本地 / 服务器。
多语言支持:输入语言包括中、英、日、德、土耳其等,翻译覆盖英、中、俄、西、法等主流语言。
细节优化:支持术语一键替换、日志记录、代理配置等,兼顾专业性与灵活性。
项目链接
https://github.com/krillinai/KrillinAI
如果开源的效果、功能还不能满足,可以联系我,AI方向的定制化开发我们是专业的~
关注「开源AI项目落地」公众号
(文:开源AI项目落地)
这排版。。