zicojiao /
worldcupvoice
WorldCupVoice 是一个开源的 AI 实时体育解说项目。在reddit、x、thread上累计超过 12k 浏览。 通过让大语言模型直接观看实时视频流,像体育解说员一样,根据场上正在发生的内容实时生成语音解说。 项目使用 Agora 搭建实时音视频链路:直播画面通过 RTMP 推流进入 RTC 频道,AI 在服务端实时获取并采样视频帧,通过 OpenAI 的视觉模型理解比赛内容、生成解说文本,再通过 TTS 合成语音并发布回 …
zicojiao /
WorldCupVoice 是一个开源的 AI 实时体育解说项目。在reddit、x、thread上累计超过 12k 浏览。 通过让大语言模型直接观看实时视频流,像体育解说员一样,根据场上正在发生的内容实时生成语音解说。 项目使用 Agora 搭建实时音视频链路:直播画面通过 RTMP 推流进入 RTC 频道,AI 在服务端实时获取并采样视频帧,通过 OpenAI 的视觉模型理解比赛内容、生成解说文本,再通过 TTS 合成语音并发布回 …
WorldCupVoice 是一个开源的 AI 实时体育解说项目。在reddit、x、thread上累计超过 12k 浏览。 通过让大语言模型直接观看实时视频流,像体育解说员一样,根据场上正在发生的内容实时生成语音解说。 项目使用 Agora 搭建实时音视频链路:直播画面通过 RTMP 推流进入 RTC 频道,AI 在服务端实时获取并采样视频帧,通过 OpenAI 的视觉模型理解比赛内容、生成解说文本,再通过 TTS 合成语音并发布回 RTC 频道。观众在观看比赛的同时,也能听到 AI 生成的实时解说。 支持 OpenAI TTS、ElevenLabs 和 Fish Audio,也可以配置不同语言和解说风格。 视障球迷完全依赖声音看球,而真人解说习惯性省略很多视觉细节:球在哪、压力从哪侧来、谁在前插跑位。这些是 AI 能稳定补上的信息,无障碍观赛可能是这套技术眼下最实在的用途。 项目目前 v0.1,还在持续迭代,计划中的方向包括:多人解说(两个 AI 搭档配合)、多语言覆盖、降低延迟,以及专门面向视障用户的解说模式。
Discuss this product