VideoLingo：Netflix级字幕与配音，一键全自动视频搬运

0 20

VideoLingo简介

VideoLingo 是一个开源的自动化视频处理工具，它集成了字幕切割、翻译、精确对齐与个性化配音功能，能够帮助用户高效地进行视频搬运与加工。它使用自然语言处理（NLP）技术进行字幕分割与翻译，并支持上下文感知，以实现精准的翻译效果。此外，VideoLingo 还提供基于GPT-SoVITS的高质量语音合成，允许用户克隆自己的声音进行配音。它能够实现单词级的字幕对齐，确保字幕与视频内容完全同步。

VideoLingo主要功能

自动化字幕处理：利用自然语言处理（NLP）技术自动分割视频字幕，并进行翻译，支持上下文感知，以实现更精准的翻译效果。
个性化配音：基于GPT-SoVITS的高质量语音合成技术，允许用户使用自己的声音进行配音，提供个性化的配音体验。
精确对齐：实现单词级别的字幕对齐，确保字幕与视频内容在时间上完全同步。
低成本高效：提供低成本的字幕和配音服务，使得视频制作更加经济高效。
开发者友好：提供结构化的代码，便于开发者进行自定义和二次开发。
多平台支持：兼容Windows和MacOS操作系统，用户可以通过浏览器访问Streamlit界面进行操作。

VideoLingo技术原理

视频获取模块:
- st_components/download_video_section.py: 基于Streamlit框架构建的Web应用程序组件,提供YouTube链接下载和本地文件上传两种视频获取方式。
- core/step1_ytdlp.py: 集成yt_dlp库,实现从指定URL高效下载视频的功能。
音频处理与语音识别模块:
- core/step2_whisper_stamped.py: 利用OpenAI的Whisper模型进行高精度的语音识别,生成带时间戳的文本转录结果。
文本处理与翻译模块:
- core/step3_1_spacy_split.py: 应用SpaCy自然语言处理工具进行初步的文本分割。
- core/step3_2_splitbymeaning.py: 结合GPT模型的语义理解能力,对长句进行更精确的分割。
- core/step4_1_summarize.py: 利用GPT模型对视频内容进行智能摘要,提取关键术语。
- core/step4_2_translate_all.py: 实现批量化的字幕文本翻译处理。
- core/step4_2_translate_once.py: 采用三步翻译法(直译、意译和润色)实现高质量的英文到中文的逐句翻译。
字幕处理与合成模块:
- core/step5_splitforsub.py: 根据字幕格式规范,对翻译后的文本进行精确分割和时间对齐。
- core/step6_generate_final_timeline.py: 生成标准SRT格式的字幕文件,包含精确的时间轴信息。
- core/step7_merge_sub_to_vid.py: 实现字幕与视频的无缝集成。
音频处理与配音模块:
- core/step8_extract_refer_audio.py: 从源视频中提取关键音频片段作为参考。
- core/step9_generate_audio_task.py: 基于翻译后的字幕内容,生成结构化的音频合成任务。
- core/step10_generate_audio.py: 利用先进的SoVITS模型生成高质量的配音音频。
- core/step11_merge_audio_to_vid.py: 将生成的配音音频与视频进行专业级别的合成。
自然语言处理工具集:
- core/ask_gpt.py: 封装与GPT模型交互的标准化接口,用于各类文本生成和分析任务。
- core/prompts_storage.py: 集中管理针对不同任务优化的提示模板。
- core/spacy_utils/: 封装基于SpaCy的句子分割等高级文本处理功能。
系统配置与工具模块:
- config.py: 集中存储和管理系统的全局参数配置。
- st.py: 基于Streamlit框架构建的交互式Web应用,实现各处理模块的无缝集成。
- install.py: 自动化系统依赖包和模型的安装与配置过程。
- onekeycleanup.py: 提供一键式中间文件清理功能,优化系统存储空间。
- st_components/imports_and_utils.py: 封装界面组件通用的工具函数库。
- st_components/sidebar_setting.py: 实现基于侧边栏的系统设置界面,提供直观的配置管理。