Open Audio & Video Data Pipeline Survey
2022–2026 · Train / Eval / Hybrid · 111 main candidates · Full-duplex data focus ← 返回主页面

近四年音频 / 视频自动数据构造与开源 Pipeline 论文清单（2022–2026）

更新日期：2026-07-15

口径

自动标注与重描述

主要产出是描述性监督：caption、metadata、attribute、rich transcription 或 recaption；按最终 schema 归类，不按是否使用 LLM 归类。

等级 Modality Use Method 论文 / 项目 Venue Citations (Semantic Scholar, 2026-07-15) 自动构造方法 官方代码 / 开放边界
S Audio Train ALM + LLM + CLAP AudioSetCaps (2024) IEEE TASLP 2025 36 Audio-language model prompt chaining 提取声音/语音/音乐细节，LLM 生成 caption，CLAP refinement 降低 hallucination；约 611 万 caption + 1841 万中间 QA 完整标注 pipeline、数据、checkpoint；适用：大规模通用音频自动 caption
B+ Audio Train LALM + candidate ranking ETTA / AF-Synthetic (2024/2025) ICML 2025 19 每段音频生成 20 个候选 caption，CLAP 选 top-3，阈值、关键词/噪声、可选 aesthetics 和 LLM shortening 过滤；约 135 万 caption 合成 pipeline + T2A 训练代码；适用：高质量伪 caption、text-to-audio
S Speech Train acoustic models + LLM Natural language guidance of high-fidelity TTS (2024) Preprint 131 对 MLS 45k 小时 + LibriTTS-R 585 小时自动生成性别、口音、音高、语速、SNR、C50 等属性，再由 LLM 写自然语言 style prompt Data-Speech + Parler-TTS；适用：可控 TTS、style annotation
A Music Train LLM tag-to-caption LP-MusicCaps (ISMIR 2023) ISMIR 2023 141 GPT-3.5 将 music tags 转成 writing/summary/paraphrase/attribute-prediction 四类 caption；约 220 万 caption / 50 万音频 生成代码、数据、checkpoint, CC-BY-NC；适用：音乐 captioning
A Music Train MIR + Claude MidiCaps (2024) ISMIR 2024 24 确定性提取 tempo/chord/time signature/instrument/genre/mood，再用 Claude 3 few-shot 写 caption；168,385 MIDI pipeline、prompt/config、数据；适用：symbolic music、结构化特征转文本
A- Speech Train expert tags + GPT-4 DreamVoice (Interspeech 2024) Interspeech 2024 15 专家给 900 个 speaker 标 10 类 timbre 属性，GPT-4 为每个 speaker 生成约 50 条自然语言 descriptor DreamVoiceDB、模型和训练指南；适用：text-guided voice conversion
A Video Train cross-modal teachers Panda-70M (CVPR 2024) CVPR 2024 421 3.8M 长视频语义切片，多种 cross-modality teacher 从 metadata、subtitle、frames 生成候选 caption，再训练 selector 选最终 caption，得到 70.7M pairs / 167k 小时 dataset downloader、semantic splitting、captioner 开放；完整 teacher ensemble/selector 的原始大规模服务环境不是一键式，源视频许可需跟随原数据
A Video Train GPT-4V + captioner distillation ShareGPT4Video (NeurIPS 2024) NeurIPS 2024 448 40K GPT-4V dense video captions，再训练 ShareCaptioner-Video 扩到约 4.8M captions，用于 video understanding 与 T2V recaptioning captioner、batch inference、训练/推理与数据 开放；GPT-4V 初始 40K 生成依赖外部闭源 teacher
A Video Train VLM + GPT-4V MiraData (NeurIPS 2024 D&B) NeurIPS 2024 D&B 147 人工选源 -> PySceneDetect -> 模型拼接/质量过滤 -> Panda short hint -> 8 帧 2×4 grid -> GPT-4V 生成主体、背景、风格、镜头、短/长结构化 captions 下载/切片、评测、caption_gpt4v.py 与 prompt 开放；提供 330K/93K/42K/9K 版本，原视频权利仍需逐源检查
A Video Train VLM narrator + rephraser LaViLa (CVPR 2023) CVPR 2023 270 visually-conditioned LLM “Narrator” 为视频片段生成 dense narrations，再用 “Rephraser” 扩写伪标签，训练 video-text dual encoder Narrator inference/demo、预训练和下游代码，MIT；repo 已归档但仍可复现
A-/B+ Video Train model recaption + DPO Tarsier2 (2025) Preprint 73 用 Tarsier2-7B 为 585K 个开源视频片段生成 detailed descriptions，得到 Tarsier2-Recap-585K；另用 model-based sampling 自动构造 DPO preference data 模型、数据、训练/推理/eval 开放；原始 40M 内部 pretraining pairs 和完整大规模生成编排未公开
A- Audio-Visual Train multimodal captioner + filters GenAu / AutoCap / AutoReCap-XL International Journal of Computer Vision 2025 37 在大视频库中寻找 subtitle gap，融合 audio、标题/metadata、video caption 生成文本，做 speech/music keyword 和 CLAP 过滤；最终约 4700 万 pair，20.7M 高 CLAP 子集 AutoCap、GenAU、dataset prep、训练 开放；数据、算力和源视频许可成本很高
A+ Audio-Visual Train VLM/LLM + CLIP/CLAP AudSemThinker / AudSem NeurIPS 2025 17 YouTube subtitle 筛声音描述，CLIP/CLAP 过滤，融合音频/图像/视频 metadata，再生成 caption + QA/MCQ；约 11.6 万 caption 阶段脚本和训练代码 较完整；源视频许可需注意
A- Speech Train metadata + LLM DeSTA2 (ICASSP 2025) ICASSP 2025 55 从真实 speech 的 ASR、speaker、emotion、duration、environment 等 rich metadata 出发，让 text LLM 自生成多任务 speech-text alignment/caption pairs，无需现成 speech instruction-tuning data 数据、训练 branch、模型与推理 开放；metadata-to-text generation 的大规模编排不如 Data-Speech 完整
B+ Speech Train multi-model style annotation ParaSpeechCaps EMNLP 2025 23 speaker similarity 传播 intrinsic tags；expressivity classifier、semantic match、Gemini acoustic verification 生成 situational tags，再由 LLM 写 style description；2427 小时 数据、模型、部分标注代码；situational pipeline/style generation 仍未齐全
B+ Audio Train LLM rewrite WavCaps IEEE/ACM TASLP 2024 414 ChatGPT 清洗和重写 Freesound/BBC/SoundBible 等网页描述；约 40 万 audio-caption pair 数据和下游代码 开放，完整 ChatGPT generation pipeline 不够完整
B Audio-Visual Train multimodal teacher + LLM Auto-ACD ACM MM 2024 66 融合 AV sync、图像 caption/object detection、audio tags，LLM 把多模态 clues 写成约 190 万 audio caption 数据和训练/CLAP 代码 开放，完整生成链路未全开
B+ Video Train LLM multi-scale annotation InternVid (ICLR 2024) ICLR 2024 511 7M videos / 760k 小时切成 234M clips，使用 scalable LLM multi-scale annotation 生成大规模 video-text pairs InternVideo umbrella repo 与数据资源 开放；精确复建 234M 标注的数据引擎和服务配置不完整
B Audio Train multi-expert + LLM + filter ACAVCaps ICASSP 2026 2 ASR、speaker、music、AudioSet、acoustic 多专家 -> DeepSeek-R1 caption -> Dasheng-GLAP 过滤；470 万 pair / 3.87 万小时 数据 开放，generation pipeline 未完整开放
B Speech Train multi-expert transcription + reward Fish Audio S2 Preprint 7 >10M 小时；分离/VAD/质量模型过滤，Qwen3-Omni rich transcription 和 inline event/emotion tags，同一模型又作 GRPO reward 模型、推理、微调 开放，完整数据流水线不开放且为自定义研究许可
A Audio Train multimodal cues + LLM FusionAudio-1.2M (2025) Preprint 9 融合音频、视觉与 metadata cues，由 LLM 自动生成约 120 万 detailed captions 和 600 万 QA，覆盖细粒度声音事件与跨模态语义 构造代码、数据和训练入口 开放；依赖 LLM teacher，数据为 CC-BY-NC
A Video Train open VLM dense captioning InstanceCap / InstanceVid (CVPR 2025) CVPR 2025 18 用开放检测/分割/VLM 组件抽取 instance、属性、动作与关系，自动生成 instance-aware dense captions，形成 T2V 训练数据 caption engine、数据与模型 开放；原视频与各组件许可需分别审计
A Video Train quality filter + open VLM recaption LVD-2M (NeurIPS 2024 D&B) NeurIPS 2024 D&B 23 自动质量过滤长视频，再用 LLaVA/PLLaVA 等开放模型做层次化 recaption，得到约 200 万 long-video captions 过滤、recaption、数据与训练代码 开放；源视频仍受上游许可约束
A Speech Train style-caption annotation CapSpeech (2025) Preprint 20 在 Data-Speech 思路上扩展大规模 speech style captioning，自动生成约 935 万风格描述，并构建三套新数据与评测工具 标注、数据、训练与评测 开放；数据为 CC-BY-NC
A- Audio-Visual Train + Eval agentic captioning + cloze generation Omni-Captioner / Omni-Detective (ICLR 2026) ICLR 2026 25 agentic pipeline 调用多模态模型生成并校验 audio/audio-visual detailed captions，再自动构造 Omni-Cloze perception benchmark Omni-Detective pipeline、模型与 benchmark 开放；大规模 teacher 推理成本和源媒体限制精确重建
A- Video Train + Eval multi-VLM captions + preference scoring Cockatiel (2025) Preprint 2 多个 VLM 生成 detailed video captions，自动评分并融合人工偏好，训练 caption reward scorer 与高质量数据选择器 生成、评分、训练与数据工具 开放；部分 teacher/API 与源视频依赖外部资源
A- Speech Train GPT-4o audio + description rewrite EmoVoice / EmoVoice-DB (2025) ACM MM 2025 58 用 GPT-4o-audio 生成/标注情感语音，再由 GPT-4o 重写自然语言情绪与风格描述，形成约 40 小时可控情感 TTS 数据 数据、训练和部分构造代码 开放；核心 teacher 为闭源 API
B+ Music Train LLM temporal recaption FUTGA (2024) Preprint 8 LLM 将 track-level metadata 扩写成带时间结构的 full-length music captions，用于长音乐理解与生成 模型、数据与资源 开放；完整 generation orchestration 仅部分公开
B+ Music Train + Eval metadata imputation + LLM captioning JamendoMaxCaps (2025) Preprint 18 对 Jamendo metadata 做 LLM 缺失属性补全与自然语言化，构建约 36.2 万 music captions，并配套 retrieval 评测 数据、代码和基线 开放；LLM 生成链与上游音乐许可仍有依赖
B Music Train MIR feature annotation + LLM chaining SonicVerse (AIMC 2025) AIMC 2025 2 用 MIRFLEX 自动标 key、vocals 等音乐特征，与 caption 多任务学习，并用 LLM 串接片段输出为长音乐的 time-informed descriptions 模型、标注工具和训练代码 开放；完整大规模 caption generation orchestration 只部分公开
A- Video Train VLM + synthetic preference pairs SynPO (2025) Preprint 4 利用 VLM 内在属性并辅以 LLM 自动构造 detailed-video-caption preference pairs，再做无需 reference model 的偏好优化 pair construction、训练与评测代码 开放；仍有外部 LLM 与源视频依赖

伪标签、清洗与修复

真实媒体仍是主体，自动流程为它生成 transcript、边界、质量分、对齐结果或修复后的版本。

等级 Modality Use Method 论文 / 项目 Venue Citations (Semantic Scholar, 2026-07-15) 自动构造方法 官方代码 / 开放边界
S Speech Train teacher pseudo-label Distil-Whisper (2023) Preprint 136 Whisper large-v2 为 21,170 小时多域语音生成伪标签，按 ground-truth/pseudo-label normalized WER 阈值过滤，再蒸馏 student 伪标、阈值 sweep、蒸馏、评测全开；适用：ASR pseudo-label + distillation
S- Speech Train ASR + alignment + Noisy Student GigaSpeech 2 (2024/ACL 2025) ACL 2025 56 YouTube 抓取 -> Whisper 初始转写 -> forced alignment -> 多维过滤 -> modified Noisy Student 迭代重标；约 30k 小时 crawler、转写、对齐、切分、过滤、recipes；适用：低资源 ASR 数据工程
A Speech Train separation + ASR + quality filter Emilia / Emilia-Pipe (SLT 2024) SLT 2024 273 对 in-the-wild 长音频自动做 source separation、分段、ASR、speaker diarization、质量/重复过滤，生成 101K+ 小时六语种 speech-generation 训练集 完整 preprocessing pipeline、Amphion 与数据开放；原始网络音频 lineage/许可需逐源审计
A Speech Train speech restoration model Sidon (2025) ICASSP 2026 10 w2v-BERT 2.0 feature predictor + vocoder 将 noisy in-the-wild speech 自动恢复成 studio-quality speech；用于清洗 ASR corpus 后训练 zero-shot TTS 代码与模型、MLS-Sidon 数据 开放；这是 model-based cleansing/resynthesis，不是伪标签
A Speech Train / Hybrid ASR + CTC alignment ReazonSpeech (2023) NLP 2023 (Japan) N/A 从日本电视流自动抽取 audio/subtitle，以 ASR 与 CTC segmentation 对齐，构造大规模日语 ASR 弱标注/伪标注语料 corpus tools、模型、评测 与 数据 大部分开放；广播内容许可需单独审核
B+ Speech Train / Hybrid segmentation + enhancement + ASR WenetSpeech4TTS (2024) Interspeech 2024 66 对 WenetSpeech 自动重切边界、增强、去混合 speaker、重转写并按 DNSMOS 分层，得到约 12,800 小时 Mandarin TTS corpus 数据 与 Amphion 训练 toolkit 开放；完整 corpus-construction pipeline 未独立发布
B Speech Train ASR-to-TTS self-training Twister Preprint 7 ASR 为 6000 小时无标注语音伪标 -> 训练 TTS -> 由 web 文本合成约 10k 小时/200+ voice -> ASR validator 过滤到约 4k 小时 -> 回训 ASR 模型和 synthetic datasets 开放，无完整 orchestration repo
B Speech Train / Hybrid teacher pseudo-label MooER (2024) Preprint 3 用 teacher ASR/AST 为约 5,000 小时语音生成 pseudo labels，支持 ASR、AST 与 speech interaction 训练 训练、推理和 dataset loader 开放；伪标签生成/过滤 pipeline 未公开
S Speech Train config-driven pseudo-label + translation Granary (2025) Interspeech 2025 28 VAD/对齐后做两遍 Whisper large-v3 + LID、hallucination filtering、Qwen2.5 标点、EuroLLM 翻译与质量估计，构建约 100 万小时、25 语种 ASR/AST 数据 完整 config pipeline 与 Granary 数据 开放；上游语料许可需逐源继承
A+ Speech Train podcast mining + diarization + separation DuplexChat / DuplexChat-Pipe (2026) Preprint 0 过滤公开 podcast feed，下载/清洗 episode，按 diarization 抽两人对话，再做 speaker separation 与 restoration，构建 282,634 小时英语 + 132,723 小时日语双流语料 完整 pipeline、重建脚本、测试与 2300 万条 manifest 开放，MIT；HF 只分发 metadata、不分发音频，重建时必须遵守各 podcast 权利与下架状态
A- Speech Train diarization + overlap separation + ASR fusion Sommelier (2026) ACL 2026 Industry N/A 长 radio/podcast -> 标准化、VAD、Sortformer diarization、带 identity matching 的 overlap separation、可选 Demucs，再以三套 ASR 做 ROVER fusion 和 word timestamps；论文用它产出 83 小时 Moshi finetune set，并测到 10K 小时规模 主要 preprocessing pipeline 已开；repo 当前无 license，未发布大规模 processed corpus，输出是从 mixed public audio 估计分离的 speaker streams，不是 ground-truth 双通道

合成媒体、声学表征与场景模拟

主要产出是全新的 waveform、speech token/representation、混音、声场或 synthetic video。

等级 Modality Use Method 论文 / 项目 Venue Citations (Semantic Scholar, 2026-07-15) 自动构造方法 官方代码 / 开放边界
A+ Audio Train LLM + TTA + CLAP Synthio (ICLR 2025) ICLR 2025 13 LLM/GAMA 生成并细化 caption，DPO 对齐 T2A diffusion 到小目标数据，生成 waveform，CLAP 过滤，再训练分类器 端到端 MIT pipeline；适用：低资源音频分类、真 waveform augmentation
S Video Train programmatic video generation SynRL: Learning Transferable Temporal Primitives via Synthetic Videos (CVPR 2026) CVPR 2026 2 Python 程序化生成碰撞、旋转、轨迹、速度、shell game、滑块、卡牌/筹码追踪、终端和网格等视频，并直接输出 frame-level ground truth；再做 CoT generation -> verification -> reflection -> polishing 完整视频生成器与 10 类脚本，Apache-2.0；无需 GPT-4V/Gemini，7.7K synthetic CoT + 7K RL 数据，是最纯粹可复现的 synthetic-video 案例
A+ Audio Train + Eval / Hybrid simulator + RIR SonicSim / SonicSet (ICLR 2025) ICLR 2025 12 基于 Habitat-Sim 参数化房间、麦克风、静态/移动声源，将 LibriSpeech、FSD50K、FMA 与 90 个 Matterport3D 场景合成为 speech separation/enhancement 数据 数据构造脚本、Docker、SonicSet 和训练代码 开放；Matterport3D 等源资产需遵守各自许可
A+ Audio Train + Eval programmatic room simulation SpatialScaper (2024) ICASSP 2024 50 参数化虚拟房间尺寸、墙体吸收、麦克风及移动前景/背景声源，通过 RIR 卷积生成带强时空标签的 SELD soundscape，并可增强既有 DCASE 数据 完整 Python library、生成示例与测试，CC-BY-4.0；依赖输入音频/RIR 资产许可
A Speech Train TTS CLASP / SpeechBrown (ECIR 2025) ECIR 2025 1 将 Brown Corpus 55,173 个句子按 15 个领域用 NVIDIA Tacotron 2 合成为 speech-text pairs，用于多语种 speech-text retrieval 预训练 TTS generation notebook、训练/eval 与 SpeechBrown 开放，MIT
A Video Train VLM + image/video generators OmniWeaving (2026) Preprint 9 为 intent-driven I2V、text-image-video-to-video、interleaved multi-image-to-video 构建 4/6/9 阶段数据流程；VLM 生成/改写 instruction、Flux 抽主体/背景、VLM 多轮 quality check，最后导出 Arrow 三套 process_data/ pipeline + 训练例程 已开；但论文的大规模内部训练集本身并未完整发布，属于“参考 pipeline 可复现、原数据不可重建”
A- Audio Train programmatic mixing AudioSep IEEE TASLP 2025 86 随机抽两个 5 秒片段混音，以其中一个 caption/label 作 query、原片段作 target，训练 language-guided separator 训练和数据加载代码 MIT；属于 programmatic mixture synthesis
A- Music Train audio augmentation + MIR Mustango / MusicBench (NAACL 2024) NAACL 2024 145 对 MusicCaps 音频做音高、tempo、响度等音乐语义增强，MIR 自动抽取 chord/beat/tempo/key，再用模板扩展 caption，生成约 52.8K music-text pairs 数据构造、训练、模型 与 MusicBench 开放；数据 CC-BY-SA-3.0
A- Speech Train + Eval / Hybrid TTS/voice cloning + LLM rephrase OD3: Open Directed Dialogue Dataset (2024) ICASSP 2024 1 将现有 task-oriented text dialogues 合成为 speech，并注入 repeat/rephrase/failure turns，得到 63K conversations、600K turns、1,172 小时半合成对话 数据与构造脚本 开放；上游对话集和 TTS voice 的许可/偏差需单独记录
A- Speech Train semantic-token synthesis Speechless (Interspeech 2025) Interspeech 2025 4 不生成 waveform，而把文本 instruction + duration token 合成为 speech semantic representations，并与 Whisper encoder 对齐，为低资源语言生成 speech-instruction 训练数据 Ichigo legacy repo 的 synthetic_data/ 与训练实现开放；属于 synthetic-token pipeline
B Speech Train text-to-token LM Scaling Speech-Text Pre-training with Synthetic Interleaved Data Preprint 53 1.5B text-to-token LM 把文本 span 直接变成 12.5Hz speech token，生成 600B interleaved tokens，并做 0/100B/200B/600B scaling ablation GLM-4-Voice 开 tokenizer/decoder/inference；大规模生成 pipeline 未开放
A- Audio Train T2A-ControlNet + dual filtering SynSonic (2025) Preprint 1 用 T2A-ControlNet 生成带 strong temporal labels 的 SED 音频，再以 CLAP 与 Dasheng 双重过滤，扩大稀缺事件训练数据 生成、过滤和训练代码 开放；仍依赖外部预训练生成器与源标签数据
A- Audio Train LLM instructions + diffusion editing SAO-Instruct (NeurIPS 2025) NeurIPS 2025 6 GPT-4o 生成音频编辑指令，配合 P2P/DDPM 合成 instruction/input/output triplets，用于可控 audio editing 数据构造、训练和评测 开放；instruction teacher 为闭源 GPT-4o
A- Speech Train LLM + TTS + ASR + diarization NileTTS (2026) EACL 2026 / AbjadNLP 0 LLM 生成埃及阿拉伯语文本，经 TTS 合成后用 Whisper 校验、ECAPA diarization/过滤，构建小规模方言 TTS 数据 Apache-2.0 端到端 pipeline 开放；语种与数据规模较窄

Instruction / QA / Dialogue 构造

主要产出具有任务或交互结构的监督：question、answer、reasoning、turn、tool call 或 multi-modal instruction。

等级 Modality Use Method 论文 / 项目 Venue Citations (Semantic Scholar, 2026-07-15) 自动构造方法 官方代码 / 开放边界
A- Audio Train GPT + schema conversion LTU / OpenAQA (ICLR 2024) ICLR 2024 266 把既有音频标签/caption 转成 closed/open QA，GPT 生成 reasoning/instruction tuples；约 560 万 audio-QA 生成脚本、collector、训练、模型、日志；适用：audio reasoning / assistant
S Speech Train LLM continuation + adapter BLSP (2023/2024) Preprint 85 LLM 根据 ASR transcript 生成 continuation，真实 speech 与 continuation 组成约 880 万 speech-target pair，训练 speech adapter 对齐 LLM behavior generation script、数据准备、两阶段训练、模型；适用：SpeechLM、teacher-generated target
B+ Speech Train GPT-4 + text-to-unit SpeechGPT (2023) Preprint 692 GPT-4 生成 ASR/TTS task descriptions，text-to-unit 把 MOSS instruction/response 转成 speech/text chain-of-modality quadruplets SpeechInstruct、训练、unit 工具、vocoder、checkpoint；适用：spoken dialogue / SpeechLM
A Video Train GPT-3.5 semi-automatic QA Video-ChatGPT / VideoInstruct100K (ACL 2024) ACL 2024 1241 人工辅助 + GPT-3.5 半自动生成 100K video instruction pairs，覆盖详细描述、时空理解和对话 QA semi-automatic annotation framework、数据、训练、模型 开放；是早期最完整的 video instruction synthesis 案例之一
B+ Speech Train TTS + LLM + judge Instruction Data Generation for Speech LMs Interspeech 2024 10 TTS 将文本 QA context 转 speech；Mixtral 根据 transcript 生成 QA；ASR 伪转写再生成 QA。LLM judge 将 2.8M 过滤到约 1.8M 论文 prompt、阈值、ablation 很完整；基于 NeMo，专用 generation repo 未独立发布
A- Multimodal Train multimodal generative models AnyGPT / AnyInstruct-108K (2024) Preprint 267 用生成模型构造 108K 多轮 any-to-any instruction，交错 text、speech、image、music，再统一离散 token 做 pretrain/SFT tokenizer、训练和数据样例 / AnyInstruct 开放；从 seed 到 108K 的完整 orchestration 未全开
B+ Audio Train LLM + metadata Audio Flamingo 2 / Audio Flamingo 3 (2025) Audio Flamingo 2: Preprint; Audio Flamingo 3: Preprint Audio Flamingo 2: 155; Audio Flamingo 3: 247 由 metadata/caption/transcript + LLM 扩展 AudioSkills-XL、LongAudio-XL；再从 MCQ 合成 250K AF-Think reasoning prefix，并构建 75K multi-turn/multi-audio AF-Chat AF2、AF3、AudioSkills、LongAudio、AF-Think、AF-Chat 开放；大规模 generation/filter orchestration 只部分公开
B+ Audio Train + Eval LLM dialogue generation Audio Dialogues / Audio Flamingo 1 (2024) Preprint 11 从既有 audio/music caption 用 LLM prompt 生成 163.8K 多轮对话和 multi-audio QA，供 Audio Flamingo 训练与评测 prompts/examples 与 AF1 训练代码 开放；standalone generation code 不完整
S Speech Train open LLM scripts + voice-cloned TTS + validators SpeechDialogueFactory (2025) Preprint 2 从 persona/metadata 自动生成多轮脚本、paralinguistic utterances 与可控 turn structure，再以 voice-cloned TTS 合成双人对话并自动评分 端到端生成器、开放模型配置与样例数据 全开；可直接扩展 overlap/backchannel/interrupt curriculum
A Speech Train LLM behavior scripts + TTS + timing placement Behavior-SD (NAACL 2025) https://aclanthology.org/2025.naacl-long.484/ / NAACL 2025 3 GPT-4o 生成 8–12 turn 对话，自动插入 backchannel opportunity、interrupt 类型与 style caption，再用 CosyVoice 按时间轴放置双通道语音；108K dialogues、2,164 小时 生成代码 与 CC-BY-4.0 数据 开放；闭源 LLM teacher 与 TTS checkpoint 仍是外部依赖
B+ Speech Train mixed real timing + synthetic instruction speech Moshi (2024) Preprint 627 约 7M 小时主要为真实、downmix 后的单流 audio pretraining；duplex-specific 部分是约 2K 小时 Fisher 双通道真人语音、170 小时 supervised multi-stream，以及 >20K 小时 synthetic instruction speech 模型/推理 与 finetune repo 开放；广域 source corpus、完整 synthetic corpus 与一键 data builder 未发布。不能把 7M 小时误写成 synthetic full-duplex 数据
A- Speech Train + Eval LLM cross-label + TTS + ASR verification Easy Turn (2025) ICASSP 2026 14 从 MagicData-RAMC 抽真实 utterance，并用 Qwen/TEN 交叉标 complete、incomplete、backchannel、wait；再由 LLM 生成文本、CosyVoice 等合成、Paraformer 以零 WER 验证，得到 1,145 小时 模型、训练/推理代码、Apache-2.0 train/test data 已开；generation/annotation orchestration 没有完整封装，且这是 turn-state classifier 数据，不是同步双流 dialogue
A- Video Train core-frame selection + GPT-4o QA/CoT VideoEspresso (CVPR 2025 Oral) CVPR 2025 Oral 91 自动选择关键帧，再用 GPT-4o 生成多粒度 VideoQA 与 chain-of-thought supervision，构建 video reasoning instruction data 数据、训练与部分构造代码 开放；核心 teacher 为闭源 API
A- Video Train egocentric caption + QA generation EVUD / EAGLE (2024) ACM MM 2024 18 对 egocentric video 自动生成 caption、question/answer 与理解任务数据，形成可复用的第一视角 instruction pipeline caption/QA generation、训练和数据代码 开放；外部 VLM/源视频依赖仍需配置
B+ Audio Train LLM-generated reasoning QA Mellow / ReasonAQA (2025) Preprint 30 约 70% audio QA 由 LLM 自动生成，覆盖多步音频推理并形成 ReasonAQA 数据，用于 audio reasoning instruction tuning 数据、训练与 generation branch 开放；生成链不在默认主分支且依赖 LLM teacher
B+ Audio Train LLM chain-of-thought synthesis Audio-Reasoner / CoTA (2025) Preprint 123 从多类 audio tasks 自动生成约 120 万 chain-of-thought 样本，训练显式音频推理模型 模型、数据入口和训练代码 开放；generation code 仍标为 coming soon
B Audio Train + Eval synthetic speech + CoT annotation SoundMind / ALR (EMNLP 2025) EMNLP 2025 22 用合成语音和自动 chain-of-thought 标注构造 6,446 条 audio logical reasoning 样本，覆盖 text-to-audio、audio-to-text 与 audio-to-audio reasoning 代码、数据、模型与 rule-based RL 开放；数据规模小，TTS/CoT generation pipeline 只部分公开
B+ Speech Train LLM rewrite + TTS LLaMA-Omni ICLR 2025 202 Llama-3-70B 把文本 instruction/response 重写为可说出口形式，CosyVoice/VITS 合成 InstructS2S-200K，约 1476 小时 数据、模型、推理 开放，rewrite/TTS generation 和训练入口不完整
B+ Video Train GPT-4o instruction generation LLaVA-Video-178K (2024) TMLR 430 GPT-4o 基于详细描述生成 16 类 caption / open-ended QA / MCQ，合计约 1.3M instruction instances 训练代码与数据、数据 开放；完整 GPT-4o generation orchestration 不清晰
B+ Video Train + Eval GPT-V + human summaries Shot2Story (ICLR 2025) ICLR 2025 58 43K human summaries + 90K GPT-V generated summaries，并为多镜头视频提供 shot-level captions 与 audio-related QA 官方 repo、数据准备和基线 开放；GPT-V annotation orchestration 只部分公开
B Audio Train GPT-4 QA GAMA / CompA-R Preprint 204 根据 event tags/captions 用 GPT-4 生成复杂 audio reasoning QA，并人工验证子集 训练、推理、checkpoint、数据 开放，synthetic generation code 不完整
B Speech Train LLM + TTS Mini-Omni Preprint 242 GPT-4o 生成 VoiceAssistant-400K；MOSS 1.5M QA 经 zero-shot TTS 变成 audio QA 数据与推理 开放，训练/生成 pipeline 不完整

时空 Grounding 与结构化监督

主要产出 timestamp、masklet、event boundary、dense temporal caption 或跨段 evidence chain。

等级 Modality Use Method 论文 / 项目 Venue Citations (Semantic Scholar, 2026-07-15) 自动构造方法 官方代码 / 开放边界
S-/A+ Video Train masklet pseudo-labeling Strefer (2025) ICCV 2025 Workshop 6 自动切片并伪标 active entities、masklets、action timelines，再合成时空 referring / reasoning instruction-response pairs，不依赖 legacy annotation data-engine、masklet pipeline、训练/推理、数据 开放；数据；CC-BY-NC 4.0、仅研究非商用
A Audio-Visual Train VLM + evidence-chain generation OmniVideo-100K (2026) Preprint 0 真实长视频 -> entity-anchored structured script（实体、speaker、ASR、non-speech、segment visuals、timestamps）-> cross-segment / cross-modal evidence chain -> 100K QA 核心 pipeline、raw videos、scripts、QA、训练/eval 基本全开；依赖 Gemini API，原始视频搜索/筛选并非一键复现，底层 YouTube 权利需单独审计
A- Video Train ASR pseudo-boundary Vid2Seq (CVPR 2023) CVPR 2023 397 把 ASR sentence boundaries 当 pseudo event boundaries，把转写句子当 pseudo event captions，在 YT-Temporal-1B 上做 dense video caption pretraining Scenic 中的完整训练/预处理实现 开放；Google Cloud ASR 可替换为离线 ASR/标点模型
B Video Train VLM temporal annotation VideoITG (CVPR 2026 Highlight) CVPR 26 VidThinker 自动生成 instruction-conditioned clip captions，检索相关 segment，再做 fine-grained frame localization，形成 40K videos / 500K temporal annotations 模型训练、推理、eval、checkpoint 开放；repo 当前未公开 VidThinker annotation pipeline，因此不能标成“data engine 全开”
B Video Train dataset conversion TimeChat / TimeIT (CVPR 2024) CVPR 2024 486 将既有 temporal datasets 统一转换成约 125K time-sensitive instruction instances，覆盖 dense caption、grounding、highlight、QA 等任务 TimeIT 数据、训练、模型 开放；主要是 programmatic conversion，而非重新生成视频
B Video Train boundary-aware instruction synthesis VTimeLLM (CVPR 2024 Highlight) CVPR 2024 Highlight 328 将多事件视频转为 boundary-aware temporal instruction/dialogue，做三阶段训练 训练代码、数据、features、模型 开放；具体大规模 instruction synthesis 过程不完全独立封装
B Video Train dataset conversion VTG-LLM / VTG-IT-120K (AAAI 2025) AAAI 2025 89 将 moment retrieval、dense captioning、summarization、highlight detection 统一转成约 120K instruction samples 数据、模型、训练代码 开放；属于 temporal-grounding dataset converter
A Video Train ASR + frame alignment LiveCC / Live-CC-5M (CVPR 2025) CVPR 2025 3 从视频 CC/ASR 出发，用 WhisperX 对齐 transcript 与 frames，程序化构建约 500 万 streaming frame-caption pairs 构造 pipeline、数据与训练代码 开放；YouTube 来源与下架风险需单独处理
A- Video Train temporal dataset conversion TimeSuite / TimePro (ICLR 2025) ICLR 2025 98 将 15 个视频数据集统一转换为约 34.9 万 grounded temporal instructions，覆盖定位、顺序、持续时间与密集描述 数据处理、训练和评测 开放；部分上游 annotations/视频需另行获取
A- Video Train GPT-4o-mini grounded QA Grounded-VideoLLM (Findings of EMNLP 2025) Findings of EMNLP 2025 83 结合时间标注与视频语义，用 GPT-4o-mini 自动生成 grounded VideoQA 和 timestamp-aware instruction supervision 构造、训练、模型和数据 开放；teacher 为闭源 API
B+ Video Train causal-event annotation + task interleaving TRACE (ICLR 2025) ICLR 2025 96 把视频表示为 timestamp、saliency 与 caption 组成的 causal events，并交错转换 temporal grounding、dense caption 与 highlight tasks annotations、数据准备、训练、推理和评测 开放；原始事件 annotation 构造链与上游视频仍非一键重建

安全与伪造检测数据

主要产出用于 deepfake、spoof、attack attribution 或 hallucination/physics safety 的训练与测试数据。

等级 Modality Use Method 论文 / 项目 Venue Citations (Semantic Scholar, 2026-07-15) 自动构造方法 官方代码 / 开放边界
A Audio Train + Eval / Hybrid component-level mixing CompSpoof (2025) ICASSP 2026 7 将真/假 speech 与真/假 environmental sound 按组件组合混音，生成 component-level spoofing 数据，同时训练 separation 与 spoof detection dataset builder、数据和训练代码 大部分开放
A- Speech Train + Eval codec resynthesis CodecFake (Interspeech 2024) Interspeech 2024; IEEE TASLP 2025 71 用 EnCodec、SoundStream、SpeechTokenizer、FunCodec、AudioDec、DAC 等 7 类 neural codec 对真实中英文 speech 重编码/解码，构造超过 100 万 real/fake 样本训练 deepfake detector 生成/检测代码 开放；任务是 audio deepfake detection
A- Video Train + Eval video generators + QA + GRPO VideoHallu (2025) NeurIPS 2025 33 从 Sora/Veo2/Kling 等生成视频构建 >3K QA，覆盖 alignment、时空一致性、常识和物理；再将 synthetic + real physics QA 用于 GRPO curriculum QA、推理、reward model 与 GRPO 脚本 开放；生成视频是否完整发布尚未确认，且原商业生成器不可本地复现
B Speech Train + Eval multi-API TTS/VC MultiAPI-Spoof (2025) Interspeech 2026 3 调用 30 种开源、商业 API 与在线平台合成约 230 小时语音，构造 spoof detection + API attribution 数据 训练/eval code 与 数据项目页 开放；外部 API 版本、采样脚本和商业许可不能完全重现
B Speech Train + Eval multi-attack synthesis ASVspoof 5 (2025) Computer Speech & Language 2025 57 在约 2,000 名 crowdsourced speaker 上用 32 种 TTS、VC 与 adversarial attack 生成 spoof/deepfake partitions protocol、baseline 与 evaluation 开放；官方明确不开放 attack-generation tools，不能完整重生 32 类攻击
A- Speech Eval adversarial audio optimization AudioJailbreak / AJailBench (2025) Preprint 20 用 Bayesian optimization 与程序化噪声/声学变换自动生成 adversarial spoken prompts，评估 voice assistant 的越狱与安全鲁棒性 攻击生成、benchmark 与评测代码 开放；主要用于安全评测而非通用训练

Eval / Benchmark 数据引擎

主要消费端是评测而非训练；即使使用 TTS、LLM 或 simulation，也单独暴露 contamination、judge bias 与静态 test 泄漏风险。

等级 Modality Use Method 论文 / 项目 Venue Citations (Semantic Scholar, 2026-07-15) 自动构造方法 官方代码 / 开放边界
S-/A+ Voice Eval live bot-to-bot simulation EVA-Bench (2026) Preprint 1 bot-to-bot live audio simulation；user simulator 按 persona/goal 生成多轮对话，validator 检测 simulator error 并自动重跑；同时加入噪声、口音、连接退化 perturbation 完整 framework、scenarios、prompts、validators、metrics、analysis UI，MIT；依赖外部 realtime/TTS/STT 和 judge API，但端到端编排最完整
A+ Voice Eval voice simulator + tool tasks τ-Voice (2026) Preprint 8 在 278 个可验证 tool/policy tasks 上运行 full-duplex voice user simulator，控制 accent、noise、turn-taking，并支持 voice/text capability 对照 voice orchestration、tasks、providers、CLI，MIT；真实运行仍依赖所选 realtime voice provider
A Video Train + Eval LLM/VLM + adversarial refinement CinePile / CinePile 2.0 (2024) Preprint 115 LLM 聚类/生成 question templates，Gemini 选 scene-relevant templates，GPT-4 生成 MCQ；再用 deaf-blind LLM 找 shortcut，由 GPT-4 最多迭代 5 轮 adversarial refinement Adversarial Refinement 完整代码与 prompts；CinePile 数据 约 300K train + 5K test
A Voice Eval + Hybrid LLM/TTS scenario simulation Full-Duplex-Bench (2025) ASRU 2025 68 Candor/ICC 真实对话 + GPT-4o 生成 interruption/pause scripts + ChatTTS 10 voices/可控 pause，自动评 pause、backchannel、turn-taking、interruption 数据、模型适配与 metrics 开放；是“真实语料 + 合成情景”很清晰的 benchmark pipeline
A Voice Eval TTS task conversion VoiceBench (2024/TACL 2026) 2024/TACL 2026 189 把 AlpacaEval、OpenBookQA、MMLU-Pro、MT-Bench、IFEval、AdvBench 等文本任务用 Google TTS 转 spoken prompts，并混入 human-recorded subsets 数据、模型适配、GPT/规则评测，Apache-2.0；repo 主要提供 benchmark/eval，未把所有 TTS 生成步骤封装为单一 pipeline
A- Audio Eval TTS + LLM QA AudioBench (NAACL 2025) NAACL 2025 139 用 TTS 将 DREAM、Alpaca、OpenHermes 等对话/instruction 转成 speech；Llama-2/3 生成 speech/audio QA，并人工复核后保留高质量子集 evaluation code 与数据入口 大部分开放；TTS/LLM generation scripts 未全部发布
A-/B+ Video Eval + Train semi-automatic QA + human validation LongVT (CVPR 2026) CVPR 2026 46 652 QA 通过 semi-automatic pipeline + human validation 构建，并公开处理脚本；同时提供 SFT/RL native tool-calling 训练 data processing、SFT/RL、eval 开放；需要长视频工具调用环境与较大训练资源
A- Audio / Voice Eval + Hybrid real + synthetic dialogue ADU-Bench (ACL 2025) ACL 2025 35 20,715 open-ended audio dialogues，包含 >8K real recordings 与 synthetic audio，覆盖 general、skill、multilingual、intonation/pause/homophone ambiguity code 与 dataset 开放；重点是 audio-dialogue understanding，不是 agent tool success
A- Audio Eval LLM QA + programmatic mixing AIR-Bench (ACL 2024) ACL 2024 257 将 19 类 speech/sound/music 任务统一成约 19K single-choice 与 2K open-ended QA，并以 GPT-4 judge 自动评 generative audio comprehension 数据、模型适配、对齐与评分代码，Apache-2.0；数据构造有自动质量控制，但生成编排未完全封装
A- Speech Eval TTS pair generation S2SBench (2025) Preprint 4 将 sentence continuation 和 commonsense reasoning 构造成 speech/text 成对诊断集，以 plausible/implausible perplexity difference 量化 speech-to-speech LLM 的 intelligence degradation 全部数据与 evaluation code 开放；属于诊断型 benchmark，不评真实工具任务或 turn-taking
B+ Video Eval VLM/LLM semi-automatic QA Neptune (2024) Preprint 25 使用 Gemini 等 LLM/VLM 的 semi-automatic pipeline 为最长 15 分钟视频构建 >3,200 QAD，覆盖 summarization、temporal ordering、state change、creator intent 数据、评测和 GEM answer-equivalence metric 开放；生成 prompts/流水线未完整发布
B+ Voice Eval TTS/VC + tool workflow VoiceAgentBench (2025) Preprint 9 生成 5,500+ 多语种 spoken queries，覆盖 single/multi-tool、串并行 workflow、multi-turn 与 safety，并通过 speaker embedding 采样扩大 TTS/VC 声线多样性 推理/eval 与 数据 开放；语音生成流程部分开放，数据为 community license
B+ Audio Eval + Hybrid dataset-to-instruction adapters Dynamic-SUPERB Phase 2 (ICLR 2025) ICLR 2025 89 将大量 speech/music/environmental-audio datasets 自动转成自然语言 instruction-task wrapper，协作扩展到约 180 个任务 task API、adapters、数据 pipeline 开放；不是单一 waveform generator，各上游数据许可不同
B / Hybrid Voice Train + Eval / Hybrid LLM scripts + human recording HumDial / HumDial-FDBench (2026) Preprint 3 DeepSeek 生成带打断、插话、旁语等 interaction cues 的脚本，再由专业演员真实表演/录制，得到 >100 小时中英双语双通道人声 repo / HF 当前未全开 train/dev、DeepSeek prompts、generation scripts 或录音 SOP；最终 waveform 是真人录音，FDBench 主要是 eval protocol
A- Speech Eval text benchmark to spoken tool-use ToolVoice (2026) Preprint 0 将 text tool-calling benchmarks 自动转换为 spoken queries，使用 Gemini/GPT TTS、多 speaker 与噪声扰动评估语音 agent 的工具调用能力 数据构造与评测代码 开放；核心 TTS teacher 为闭源服务
B+ Audio-Visual Eval GPT-4 pseudo-label + audio swap AVHBench (ICLR 2025) ICLR 2025 47 GPT-4 生成 pseudo annotations 与 rule-based QA，再通过 audio swapping 构造音画不一致/幻觉样本，评估 audio-visual hallucination benchmark、数据与评测代码 开放；闭源 teacher 与源媒体限制完整重建

边界项与排除项

这些项目符合“自动/混合构造数据”的研究口径，但官方开放内容不足以重建 generation pipeline，因此不计入主表的可复现候选：

项目 Venue Citations (Semantic Scholar, 2026-07-15) 判定
Spatial LibriSpeech / repo Interspeech 2023 13 650h+ 多通道/FOA、8K+ 合成房间；官方 repo 主要是 schema/下载说明，没有声场生成脚本
InteractSpeech / project Findings of EMNLP 2025 3 GPT-4o 改写中断场景、TTS 生成约 112h，再混入 38h 真实互动语音；有 prompts/demo，但无官方可执行生成 repo
MLAAD IJCNN 2024 149 多语种 TTS deepfake 数据符合口径，但未找到官方 generation/training code repo
MOSEL / repo EMNLP 2024 16 repo 基本只有 README/license，不能算开源 pipeline
LibriTTS-P / repo Interspeech 2024 30 主要开放数据 CSV/下载，没有数据构造代码

按目标选论文

Full-duplex 训练数据专题

这一节专门回答“训练/微调 Moshi 类低延迟、可打断 speech-to-speech 模型时，数据从哪里来、怎么合成、什么才真的教会 full-duplex”。它与前面的通用 pipeline 排名互补：模型论文即使没有开放完整数据链，也会在这里保留其可借鉴的 recipe。

与原网页的关系：此前主表已经有 Full-Duplex-Bench 与 HumDial，Moshi 只在 shortlist 中被提到；Claude Desktop 列出的 SyncLLM、SALM-Duplex、Chronological Thinking、Silent Thought、Human-1、DuplexCascade、DuplexSLA 与 full-duplex survey 均未作为独立条目展开。本次已逐篇按 primary source 复核，并新增 DuplexChat、Behavior-SD、PersonaPlex、Easy Turn、InteractSpeech、Sommelier、F-Actor、FLM-Audio、J-Moshi、BayLing-Duplex、SALMONN-omni、MinMo、OmniFlatten 与 real-timing RL 等工作。

专题表中的 citation 采用 Semantic Scholar citationCount，快照日期为 2026-07-15；新论文的 0 表示“该索引在查询日为 0”，不是质量判断。

先判断数据是否真的教 full-duplex

Full-duplex survey 的三分法非常实用：

类型 数据形态 能学到什么 不能直接学到什么
Type A：单流 speech 单说话人音频、ASR/TTS、audio token codec、声学质量、音色、prosody、speech-text alignment 何时接话、何时保持沉默、重叠、打断后恢复
Type B：单流 dialogue / instruction 有多轮文本或语音内容，但仍按 turn 串行 对话内容、指令跟随、长程语义与角色一致性 同步双流时间轴与真实 conversational dynamics
Type C：同步双流 dialogue 两个 speaker channel 共用一条时钟，可同时非静音 gap、pause、overlap、backchannel、barge-in、yielding 若数据是人工叠轨，仍可能缺真实反应时与自然协商

结论：只有 Type C 直接监督 full-duplex 行为。Type A/B 仍然重要，但应放在 codec/CPT、语义对齐和 instruction SFT 阶段；不能把两段普通 TTS 简单拼接后就称为真实 full-duplex 数据。

在 Type C 内还要继续区分 channel provenance：Fisher、Human-1、MagicData 15h、Seamless 是 ground-truth isolated channels；DuplexChat、Sommelier 是从 mixed public audio 估计分离；Behavior-SD、BayLing-Duplex、SALM-Duplex、FLAIR 是 synthetically composed channels；DuplexCascade 等只生成 text/control timeline。四类数据都能用，但监督强度、伪影和权利风险不同。

模型论文的数据配方对照

Paper Venue Citations 数据规模与来源 时间轴 / 交互构造 开放边界与最值得借鉴点
SyncLLM / Beyond Turn-Based Interfaces EMNLP 2024 73 Stage 1：193K h 合成 speech SFT；Stage 2：20K h 合成 dialogue；Stage 3：1,927 h Fisher 真人电话对话 前两阶段的双流来自 Bark TTS，Stage 2 基本无 overlap；最后用 Fisher 校准真实 turn-taking/overlap 经典“约 212K h 合成打底 + 约 2K h 真实 timing 校准”；论文开放，未找到完整训练/data-builder repo
Moshi Preprint 627 7M h 无监督单流 audio；2K h Fisher；170 h supervised multi-stream；再生成 >20K h synthetic instruct speech Mimi 双流 token；Fisher 提供真人 timing，multi-stream TTS 生成可控 instruct data；用户 voice 随机、agent voice 固定 模型/推理 与 finetune repo 开放。注意：7M h 不是“7M h synthetic full-duplex”，而是大规模无监督 audio 底座
SALM-Duplex Interspeech 2025 31 ASR-QA 20K h，MS MARCO/Alpaca 各 0.2K h，internal SFT 3K h，UltraChat 3K h，topic 0.3K h 把 turn-based pairs 放到独立 user/agent stream；barge-in 时截断 agent，保留 0.64 s reaction tail 后置 silence NeMo duplex branch 开放；最值得借鉴的是可执行的 barge-in augmentation 和显式 NULL/silence 语义
J-Moshi Interspeech 2025 5 68,892 h J-CHAT mono pretrain；344 h 五类日语 stereo dialogue；再由 43,739 text dialogues 合成 602 h stereo speech mono audio 被伪双通道化只学语音；真正 timing 来自 344 h stereo；multi-stream TTS 每条生成 10 次后按最低 WER 选样 模型与训练代码 开放；部分 real corpora 为内部/受限。证明“语言底座 + 少量匹配真实双流 + 合成扩内容”可迁移到新语言
FLM-Audio Preprint 9 约 1M h 中英 audio post-training；200K text dialogues 经 DeepSeek-V3 refine + Fish Audio TTS；700+ reference voices 不做 word-level 对齐，改用 sentence-level contiguous monologue；ASR-style 与 TTS-style 双格式交替；70% interruption，0.5 s reaction delay model card 与 inference 资源开放，完整 data builder 未全开。最值得借鉴：降低 timestamp 成本，同时保留语言模型连续性
Chronological Thinking Preprint 14 GenConv 10.5K h、SpokenWOZ-G 2.0K h、LlamaQ-G 2.7K h；Qwen2.5-72B 写对话与 chronological thoughts，Step-Audio-TTS voice cloning 在 silence 位置显式插入“听的同时思考”监督，让 internal reasoning 与用户时间轴同步 recipe 细节充分，但论文链接主要指向通用 NeMo SpeechLM2，而非完整专用数据 pipeline；适合借鉴 label schema，不宜视为一键复现
F-Actor Preprint 4 使用 2,164 h Behavior-SD，forced alignment 后保留 74.4%；52 个合成 speaker prompt 控制 voice、topic、backchannel/interrupt 数量和谁先开口；单阶段只训练 1B LLM，冻结 codec/encoder 训练、推理、评测、模型与 tokenized datasets 已开；四张 A100 约两天，是最接近学术预算的可复现实验
DuplexCascade Preprint 2 从 UltraChat 采样 50K dialogues；纯文本动态构造 micro-turn training sequence 模拟 randomized chunk、natural pause、user interruption、user backchannel、system backchannel、user thinking；用专用 control token 决定说/停 模型与 inference MIT；训练 builder 未发布。适合做便宜的“何时说”控制层，但 TTS/ASR cascade 仍受模块延迟影响
The Silent Thought / FLAIR ICML 2026 5 530K h speech continuation、70K h instruction QA、20K h real-audio ASR-QA；3 个 text LLM、3 个 TTS、100K prompts、20K+ speakers agent response >4 s 时以 10% 概率插用户打断，位置 20–80%，约 0.64 s 后停止；用 latent reasoning 学会不把 thought 直接说出 多 teacher、多 TTS、大 speaker pool 是抵抗合成伪影的强基线；未找到专用 code/data release，开放性弱
PersonaPlex ICASSP 2026 29 1,840 h / 105,410 条 synthetic service dialogues + 410 h / 39,322 条 QA dialogues；发布模型后续再混入 1,217 h / 7,303 条 Fisher 对话 Qwen3-32B / GPT-OSS-120B 写 role/persona 文本，Dia 或 Chatterbox TTS；26,296 voice prompts；synthetic role adherence 与真实 Fisher dynamics 分阶段混合 MIT inference code、模型 开放，训练对话与 generation scripts 未发布。最值得借鉴的是“合成角色/任务 + 真人 timing”的混合 recipe
Human-1 Preprint 0 26K h 真人 Hindi spontaneous stereo conversation、14,695 speakers；再用约 990 h 高质量子集 fine-tune separate speaker channels 直接保留自然 overlap、backchannel 与 turn timing，无 synthetic augmentation 模型权重 开放，但训练 corpus 未公开。它证明 real domain-matched data 很有价值，不构成“26K h 一定胜过 Moshi 7M h”的 matched comparison
BayLing-Duplex Preprint 0 200K Alpaca/UltraChat S2S 样本，扩成 200K turn-taking + 200K interruption samples CosyVoice zero-shot voice cloning；response gap 0.8 s、user gap U(0.5,3.0)s、interrupt reaction U(0.8,2.0)s；再造 timing-only DPO negatives 推理代码与权重 开放；训练集和 generation scripts 未发布。适合复用 SFT + timing-DPO 设计，不应标为开放 corpus
SALMONN-omni Preprint 30 LibriSpeech/GigaSpeech ASR、约 730K spoken QA、约 80K synthetic multi-round conversations Llama3 写对话、CosyVoice2 合成；区分 direct/contextual barge-in，插入 7 类 backchannel phrase，再做 DPO SALMONN repo/模型 开放；完整 construction assets 与生成 corpus 未发布。适合借鉴 semantic interruption 与 distractor 的分离
MinMo Preprint 97 duplex subset 约 4K h：约 3K h AliMeeting/Fisher/internal real + 约 1K h MOSS/internal simulated；另有 10K h multi-turn S2S，整体 multitask training 1.4M h separate-channel real timing 混入 heuristic gap/backchannel；不要把整体 1.4M h 都称为 duplex data 项目/模型部分开放，但 internal 语料阻断完整复现。价值在于清晰的“广域 speech 底座 + 小型 mixed duplex subset”课程
OmniFlatten ACL 2025 70 390K filtered Alpaca/MOSS/BelleCN/UltraChat sessions -> 约 2K h synthetic multi-channel dialogue；更广 100K h alignment mixture 约 70% proprietary CosyVoice 合成 immediate response、interrupt-and-stop、assistant wait，并混 MUSAN noise method 讲清但大部分 mixture 非公开、无完整生成 corpus；适合作为 random temporal overlay 的反例/基线，不是高开放 pipeline
DuplexSLA Preprint 2 CPT 约 500K h：320K duplex dialogue + 双侧 ASR 各 90K；post-training 50K h：36K timing control + 14K tool-call user audio、agent audio、action object 对齐到 160 ms chunk；LLM 标 tool-call、TTS/voice cloning 合成、force alignment 后合并到 action timeline schema 对 voice agent 最完整：speech、language、action 共时钟；repo 当前只有报告，code/checkpoint/bench 仍标 coming soon
Multi-Faceted Interactivity Alignment Preprint 0 Fisher 2K h + Seamless Interaction 4K+ h；每个 pause/turn/backchannel/interrupt axis 最多抽 2K short segments 不重训长对话；从 real human timing 抽关键窗口，以 VAD/latency/F1/LLM judge reward 做 RL Moshi/PersonaPlex RL weights 开放，训练 code/data extractor 未完整发布。结论很重要：Seamless 比 Fisher 更保 instruction/safety，数据风格会迁移到模型行为
DuplexPO Preprint 0 Fisher + Seamless，重建后 24.6K / 43.1K samples；从长对话采 dynamics-critical windows GRPO 只更新 turn/backchannel/barge-in 关键短窗，teacher-force 之前历史；把“何时说”reward 与“说什么”内容质量分离 项目页 有论文/样例，暂无公开训练 repo。适合 final alignment，而不是替代 SFT/CPT
InteractSpeech Findings of EMNLP 2025 3 150 h English：112 h synthetic + 38 h CANDOR-derived real；148 h train、2 h 人工定时 test，另有 1 h OOD test GPT-4o 在 SODA/DialogSum/PLACES/MultiWOZ 里选择 semantic interruption/backchannel 点，CosyVoice 生成双轨；真实 CANDOR 片段按 overlap/timbre 变化筛选 项目与样例 开放，未找到可下载完整 corpus 或 generation repo。事件 taxonomy 很有价值，开放度仅 B

可直接使用或重建的语料

数据集 类型 / 规模 交互信号 开放与许可 最适合阶段
DuplexChat 重建型 Type C；英语 282,634 h + 日语 132,723 h 两 speaker stream、真实 podcast turn rhythm，经 diarization + separation 估计 code/manifest MIT，不分发音频；源 podcast 权利、URL 失效、分离误差需逐条治理 大规模双流 CPT；先抽小规模做 separation leakage 和 timing audit
Sommelier 重建型 Type C pipeline；论文示范产出 83 h，benchmark 到 10K h processing mixed radio/podcast 经 diarization、overlap separation、identity matching、ASR ROVER，输出估计 speaker streams pipeline 开放但 repo 无 license，未发布大规模 processed corpus 小规模 Moshi finetune 数据构建；适合与 DuplexChat 对比 separation/ASR 取舍
Seamless Interaction 真人 Type C；4,000+ h、4,000+ participants、audio-video naturalistic + improvised，独立 participant channels，含 transcript、VAD、表情/动作 CC-BY-NC-4.0，完整约 27 TB；约 10% interaction timestamp 仍有已知噪声 高质量 real-timing SFT / RL；尤其适合 pause、backchannel、interrupt
Behavior-SD 合成 Type C；108K dialogues、2,164 h explicit narrative、speaker style、backchannel、interrupt、双通道 placement data CC-BY-4.0，code MIT；合成 timing 与 CosyVoice bias 需审计 可控行为 SFT、F-Actor 式 instruction-following
Open-Source Full-Duplex Conversational Datasets 真人 Type C；中文 10 h + 英文 5 h、14 speakers isolated-room dual-track，保留 overlap、backchannel、laughter MagicHub 登录下载，CC BY-NC-ND 4.0；论文称开放 support code，但未找到 repo link，且中英文页面存在 5h/10h metadata 不一致 sanity set、TTS conversational finetune、真实 timing 校准；不可把“open”理解为商用友好
SmoothConv / DuplexConv 真人 multi-channel 中文；100.53 h expert labels + 2,000.21 h LLM-assisted labels complete/incomplete/backchannel/wait、overlap、interrupt、pause、per-channel VAD/ASR CC-BY-NC-4.0；dataset 已上线，但论文仍用 arXiv:0000.00000 placeholder，annotation pipeline 未正式发表 中文 full-duplex SFT；先用 100 h 校准 2,000 h machine labels
Easy Turn Trainset 真实 + 合成 utterance classification；1,145 h complete 580 h、incomplete 532 h、backchannel 10 h、wait 23 h Apache-2.0；不是同步双流 session semantic VAD / turn detector auxiliary head，不应当作 native full-duplex LM 主训练集
HumDial 真人 Type C；107+ h 中英双语、100+ speakers negation、follow-up、repeat、topic switch、silence、pause、backchannel、third-party speech 需注册后通过邮件获得；不是匿名直链下载，prompts/录音 SOP 不完整 final behavior SFT + challenge-style evaluation
Fisher English 真人 Type C；约 2,000 h telephone 真实 gap、overlap、backchannel；被 SyncLLM/Moshi/多篇 RL 工作复用 LDC 商业许可，非开放数据 小规模 real-timing calibration；注意 peer-to-peer 风格可能损害 assistant behavior
Human-1 corpus 真人 Type C；26K h Hindi、14,695 speakers 自然 topic-driven conversation、separate channels 数据未公开，仅 model CC-BY-4.0 作为采集/课程设计参考，不可列为可直接下载数据

合成与对齐方法：从 survey 的五类扩展到九类

Recipe 代表工作 优点 主要风险
1. Dual-role TTS Moshi、J-Moshi、Behavior-SD 内容、speaker、style 易扩展 默认只会轮流说；TTS prosody 与声学伪影会被模型记住
2. Overlap injection SyncLLM、FLM-Audio 低成本增加 concurrent speech 与 barge-in 人工 onset 分布不等于真实协商；容易制造不自然“硬叠轨”
3. Backchannel insertion Behavior-SD、DuplexCascade 可显式控制频率与位置 需要上下文敏感 BOP detector；固定词表会过拟合“嗯/yeah”
4. Silence / control-token augmentation DuplexCascade、SALM-Duplex 便宜，直接监督 wait/speak/interrupt state 控制 token 若与真实 acoustics 脱节，会变成 shortcut
5. Time-anchor self-supervision Chronological Thinking、FLAIR 把 internal thought/action 放入共同时间轴 隐式 reasoning label 难验证，错误 alignment 会污染长序列
6. Multi-TTS + speaker-pool diversification FLAIR、FLM-Audio 降低单一 TTS/speaker fingerprint 只能缓解 synthetic-to-real gap，不能生成真实 conversation timing
7. Chunk-level speech-language-action alignment DuplexSLA tool-call、planning、speech 可在同一 160 ms 时钟监督 builder/数据尚未开放，复杂 FIFO/action label 容易产生标注 bug
8. Real-timing critical-window RL Interactivity Alignment、DuplexPO 少量 real data 聚焦 pause/turn/backchannel/barge-in，成本低 reward hacking、VAD error、peer-dialogue style drift；不能替代内容 SFT
9. Diarize + separate + reconstruct DuplexChat 从 public media 扩到 415K h 级 Type C source rights/URL drift、speaker leakage、separation artifacts、并非 clean recorded stereo
10. Semantic event insertion InteractSpeech、Behavior-SD、SALMONN-omni LLM 选择语义上合理的 interruption/backchannel 位置与内容，比随机叠轨更接近真实原因 闭源 teacher bias、事件标签可能自洽但不自然，需真人 timing test 校准
11. Real mixed-audio restoration Sommelier、DuplexChat 保留 public media 的真实 turn rhythm，再恢复每个 speaker stream diarization/separation error 会变成伪 timing；必须区分 estimated channels 与 ground-truth isolated channels

“合成 scaling vs 真人数据”应如何理解

Claude Desktop 提出的张力线是对的，但两个数字需要纠正：

目标 应优先真人数据 应优先合成数据 推荐组合
新语言 codec / ASR / speech LM 有目标口音、真实噪声和 channel 条件时 真实语音不足、需要扩大文本/voice coverage 时 Granary/Emilia 类 real speech CPT + multi-TTS 补长尾，不把 TTS 当 timing ground truth
一般 instruction-following 真实 assistant/user 录音昂贵时不必强求 强文本 teacher + 多 TTS 最划算 先 Type B synthetic SFT，再以少量真人 Type C 校准 rhythm
turn-taking / overlap / interruption 必须优先 separate-channel real timing 适合覆盖罕见事件和压力测试 Behavior-SD/FLM 合成 curriculum + Seamless/Fisher/HumDial real-timing 收尾
SEA 多语种/低资源语言 目标 dialect、code-switch、noise、social norm 必须真人采集 TTS 质量足够且 speaker pool 多样时可扩大内容 每种语言保留独立 timing audit；使用多 TTS、大 speaker pool、ASR/WER/voice leakage filter，避免英语 timing 直接平移
tool-using voice agent 真实 call 可提供 repair、latency、policy pattern tool schema、长尾 workflow、error recovery 易自动生成 DuplexSLA 式共时钟 action schema + EVA/τ-Voice 式 end-to-end trace/eval

推荐的训练课程

  1. 定义统一样本 schema：两个 audio stream + shared clock + transcript + silence/VAD + speaker + overlap/backchannel/interrupt event + interruption 后的新 state/goal + 可选 action/tool timeline。
  2. Type A CPT：用 Granary、Emilia、WenetSpeech4TTS 等学 codec、声学、多语种与 speech-text alignment；不要在这一阶段声称模型已学会 full-duplex。
  3. Type B 内容迁移：用 BLSP、LLaMA-Omni、SpeechDialogueFactory、Behavior-SD、FLM-Audio 式 synthetic instruction/dialogue 扩展内容与角色；采用多 TTS、多 speaker prompt 和独立 ASR/CLAP/DNSMOS filter。
  4. Type C timing SFT：混入 Fisher、Seamless、HumDial、Open 15h、SmoothConv/DuplexConv 或自采 separate-channel data，显式匹配真实 pause/gap/overlap/backchannel 分布。
  5. 罕见事件 curriculum：用 SALM-Duplex/FLM 的 barge-in augmentation、DuplexCascade control state、OD3 repeat/rephrase/recovery 扩 interruption、mishearing、topic update 和 third-party speech。
  6. 短窗 alignment：最后用 Interactivity Alignment / DuplexPO 式 real-timing windows 优化“何时说”，同时保留 semantic/judge reward，防止只追 latency 导致答非所问。
  7. agent action 共时钟：若目标是 tool-using agent，再加 DuplexSLA 式 chunk-aligned planning/tool-call labels；保存 audio、transcript、tool log、interrupt event 与 retry/error outcome。
  8. 只用独立 benchmark 做验收：Full-Duplex-Bench 测行为，EVA/τ-Voice 测 task success 与 experience；训练数据与测试脚本按 source/session/speaker 去重。

综述与持续更新入口

资源 Venue Citations 最适合查什么
WavChat / repo Preprint 109 spoken dialogue model 的 architecture、training stage、常用 speech/instruction datasets
Towards General Auditory Intelligence Preprint 5 更广的 listening/speaking audio foundation model 数据与训练范式
From Turn-Taking to Synchronous Dialogue / repo ICASSP 2026 7 full-duplex model/dataset/benchmark 目录，适合追踪新发布
A Survey of Full-Duplex Spoken Dialogue Systems / repo Preprint 0 Type A/B/C taxonomy、interaction ontology、五类数据合成 recipe 与公开语料表
Effects of Dialogue Corpora Properties IWSDS 2026 N/A 数据不是越多越好：IPU、pause、gap、overlap 的 corpus profile 会直接塑造模型 rhythm；混入 task-mismatched corpus 会降低 coherence

关键约束：训练 Moshi 类模型时，必须把 内容能力 与 交互时序能力 分开验收。一个模型可以回答正确但不断抢话，也可以 timing 自然却内容错误；数据与评测都要同时保留双流时间轴、事件标签和语义/任务 outcome。

跨论文共同结论

  1. 可靠的合成链路不是“生成完直接训练”，而是： generator/teacher provenance -> 独立 validator -> 阈值过滤 -> 多样性控制 -> contamination/dedup -> downstream ablation。
  2. 最常被忽略的风险不是 MOS，而是： 内容错误、speaker/style 覆盖不足、synthetic-to-real gap、来源许可、eval contamination。
  3. 复现时必须记录： generator checkpoint/version、prompt、seed、voice/sample policy、filter model/threshold、拒绝率、source license、数据 lineage、评测集去重结果。
  4. “repo 有代码”不等于“数据生成 pipeline 开放”。Mini-Omni、LLaMA-Omni、GLM-4-Voice、Fish S2、ACAVCaps、VideoITG、LLaVA-Video-178K 都应归为部分开放。
  5. Eval pipeline 也应保存完整 lineage：scenario/template 来源、simulator/provider、TTS voice、noise/accent/latency perturbation、judge prompt/version，以及失败重试/validation 记录。

建议的最小复现路线

如果要自己搭一条 production-like 合成数据流水线：

  1. 用 Data-Speech 或 AudioSetCaps 建立自动属性/内容提取。
  2. 学 ETTA 对每个样本生成多候选并独立打分，不接受单次 LLM 输出。
  3. 用 Granary + Emilia-Pipe 建立大规模多语种真实语音底座，再用 Distil-Whisper/GigaSpeech 2 的阈值、对齐和迭代重标方法处理 speech。
  4. 用 Synthio 验证真正生成 waveform 是否对低资源下游任务有增益。
  5. 视频理解先复现 SynRL 的可验证程序化视频，再接 Strefer/OmniVideo-100K 的 grounded instruction data；视频生成侧参考 OmniWeaving + MiraData。
  6. 评测用 EVA-Bench / τ-Voice 保存完整 audio、transcript、tool log 与 simulator validation；QA 数据用 CinePile 2.0 的 adversarial refinement 去 shortcut。
  7. Moshi 类模型再接 SpeechDialogueFactory -> OD3 -> HumDial 式真实双通道数据，逐步加入 overlap、backchannel、interrupt 和 recovery，而不是一步把普通 TTS 对话当 full-duplex 数据。
  8. 从第一天保留完整 provenance、过滤分数和 eval overlap audit；先做小规模 downstream ablation，再扩大生成规模。