开发教程

在线视频没字幕?AI 实时字幕与转写方案汇总

编辑部阅读约 5 分钟

看外语视频、课程或直播时没有字幕,靠浏览器扩展只能翻译已有字幕,无法从音频生成。下面按实时字幕、字幕翻译、下载转写、准实时流水线四类场景,对比 Windows/Edge 自带字幕、沉浸式翻译、pyVideoTrans、Whisper、Groq API 等做法,并给出命令、选型建议与隐私合规提醒。

外语课程、直播、日语视频经常只有音轨没有字幕。想看懂,核心是两步:语音识别(ASR)把声音转成原文,再用翻译模型转成中文。很多人先装浏览器翻译扩展,但这类工具大多只能翻译已经存在的字幕轨;视频没有字幕时,它无法凭空生成。另一类工具要先把视频下载下来,适合本地文件,不适合在线播放。

下面按四个场景拆:系统/浏览器实时字幕、已有字幕的翻译、下载后转写、边看边转写的准实时流水线。先想清楚你要的是“看懂就行”,还是要导出可编辑的双语字幕,选型会完全不同。

先分清需求:实时、翻译还是转写

场景 输入 典型做法 主要限制
临时看网页视频/直播 系统或网页音频 Windows 11 实时辅助字幕、Edge 实时字幕 语言和翻译目标受限,准确率一般
视频已有字幕轨 字幕文件/轨道 沉浸式翻译类扩展 不能从音频生成字幕
本地视频/课程 音视频文件 Whisper、pyVideoTrans、stt 需要下载或录屏,耗时
在线视频不想下载 播放中的音频 录一段→ASR→翻译→外挂字幕 有延迟,需自己搭

方案一:系统与浏览器自带实时字幕

Windows 11 的实时辅助字幕能捕获系统播放的声音,在“设置 > 辅助功能 > 字幕”里打开;Edge 也有实时字幕,入口在“设置 > 辅助功能”。它们免费、不用装额外工具、对网站不挑;缺点是支持的语言和翻译目标有限,字幕通常不能导出,口音、专有名词识别不稳定。是否能把日语翻成中文,取决于当前版本和语言包,打开设置确认,别只看旧教程。

适合临时看直播、网页视频,能理解大意即可。要双语对照或保存字幕,直接看后面的方案。

方案二:已有字幕轨,用扩展做翻译

如果视频本身有字幕轨(人工或自动生成),沉浸式翻译这类浏览器扩展可以翻译并双语显示,YouTube 等站点体验较好。它不负责语音识别,没有字幕轨时无效。优点是快、便宜;缺点是译文受原字幕断句影响,术语和人名容易前后不一致。

有些在线 AI 服务也提供转写或翻译,通常按量收费;上传前确认隐私条款和文件大小限制。

方案三:下载或录屏后转写,准确率最高

这是准确率最高、最可控的做法,适合课程、会议、本地视频。

  1. 获取文件:只处理自己录屏、课程回放或有权使用的素材,不要从盗版站抓取,也不要用工具绕过付费墙或 DRM。
  2. 提取音频:
ffmpeg -i input.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le audio.wav
  1. 语音识别:图形界面可用 pyVideoTrans、stt 这类开源项目,内置 Whisper/faster-whisper,能选语言并导出 SRT;命令行示例:
whisper audio.wav --model large-v3 --language ja --task transcribe --output_format srt

模型越大越准也越慢;日语一定显式指定 ja,否则可能被误判成英语或中文。机器跑不动 large-v3 时,先用 small/medium 或量化版试 10 分钟片段。

  1. 翻译:把 20–50 条字幕连同上下文交给 Claude、GPT 等模型,要求保留序号和时间轴、统一术语、只输出译文。示例提示词:
你是字幕翻译。把下面的日语字幕翻译成简体中文,保留每行开头的序号和时间轴,不要合并或拆分行。术语表:...
只输出翻译后的字幕。

涉及成人内容时,云端模型可能拒绝或过滤,需自行确认内容合法合规;不要把隐私视频上传到来路不明的在线站。网页上传转写(如 vidcup.cn 一类)适合临时小文件,但同样要评估隐私。

  1. 校对与播放:用 Subtitle Edit 等工具抽查数字、人名、否定句;播放器加载外挂 SRT。需要双语就把原文和译文按行拼在一起。

剪映也能做听译和字幕识别,短视频方便,但长视频、日语准确率和导出限制要先试,部分功能可能需要会员,以当前版本为准。

方案四:在线视频的准实时流水线

不想下载整段视频,可以只抓正在播放的一小段音频:用 OBS 或系统录音录 10–20 秒,切片后发到 ASR API,拿到带时间戳的结果再翻译,最后用置顶窗口或播放器外挂字幕显示。延迟通常几秒到十几秒,不是真正的同传。

curl https://api.groq.com/openai/v1/audio/transcriptions -H "Authorization: Bearer $GROQ_API_KEY" -F file=@clip.mp3 -F model=whisper-large-v3 -F language=ja -F response_format=verbose_json

接口地址、模型名和限额会调整,以官方文档为准;密钥放环境变量,不要写进前端或公开仓库。

开源播放器如 Dash Player 把字幕翻译、AI 查询做进了本地播放器,适合本地视频学习;在线流媒体仍要先把音频接出来,是否支持转写看具体版本。

如果转写任务多、需要长期挂机,而本地机器性能不足或不能一直开机,可以把 Whisper 和翻译脚本放到按月租用的新加坡独享远程 Mac 上常驻运行,通过网络提交任务;它解决的是运行环境,不改变识别和翻译质量。

翻译质量与工具取舍

常见的分歧是“机翻够不够”。临时看剧情,免费机翻加字幕扩展就能用;做课程笔记、双语字幕,LLM 翻译更自然,但要注意:

  • 术语一致性:先给术语表,分批翻译。
  • 上下文:按场景批量送,不要单句。
  • 幻觉:数字、人名、否定句逐条抽查。
  • 成本:长视频 token 多,先小段试。
  • 隐私:云端 API 会接收字幕文本,敏感内容用本地模型。

对“一键神器”保持警惕:有的只是套壳翻译,有的会收集视频内容。优先选开源、可导出字幕、能本地部署的工具。

注意事项与选型清单

需求 建议
临时看懂网页视频/直播 Windows 11 或 Edge 实时字幕
已有字幕轨,想双语 沉浸式翻译类扩展
本地课程,要准确 SRT Whisper large-v3 + LLM 翻译
在线视频,不想下载 录 10–20 秒 + Groq/Whisper + 外挂字幕
批量、长期挂机 本地常开机器或远程 Mac 跑脚本

合规提醒:只处理自己有权使用的音视频;不要用工具绕过付费墙、DRM 或地区限制;不要把账号、API key 交给不明服务;成人内容还要注意平台政策和当地法律。

没有一款工具能同时做到免费、实时、准确、可导出。实时字幕求快,Whisper 求准,LLM 求译文自然;先定场景,再组合工具,比追“神器”靠谱。

ffmpegWhisperAI字幕实时字幕视频翻译