MULTIMODAL · DATA & POST-TRAINING

用数据和评测让模型真正学会表达

从语音情感、视觉数据到结构化推理，我关注数据边界、训练策略和可复现评测，而不是只展示一张看起来不错的样片。

数据先于训练记录来源、规模、标签、划分和授权边界，避免把样本当结论。

训练有可比较基线SFT、LoRA、Prompt 和数据增强都要对应实验记录。

评测覆盖失败CER、SECS、F0、NISQA、混淆矩阵和 bad case 一起看。

FLAGSHIP RESEARCH

语音系统的难点不是“能合成”，而是知道什么时候失稳。

当前公开的是研究系统和实验结论；完整 GPU 推理不在轻量网页服务器上运行。

01 / VOICE STORY

我搭建 source → preprocess → dataset → synthesis → evaluation 管线，用 CosyVoice 3 进行合成，把 Demucs、VAD、FunASR 和评测 worker 与编排层分离。

评测轴CER 看可懂度，SECS 看 speaker similarity，F0 RMSE 看韵律稳定性，另有 MOS/NISQA 与 RTF。

失败结论长文本 400→800 字出现明显退化，产品策略是切成 300–400 字段，而不是继续堆 prompt。

Referencesource + speaker profile

Prosodyemotion + style spec

SynthesisCosyVoice worker

EvaluationCER / SECS / F0

DATA & EVALUATION

不把小样本准确率包装成通用能力；当前页面只展示已有实验范围。

实验	观察
720 条情感语音	8 speakers × 5 emotions × 6 texts × 3 seeds
Voice emotion probe	360 WavLM embeddings；linear probe 65.8%
长文本稳定性	400→800 字出现质量相变；更长文本大幅退化
数据结论	Happy 较易分；Sad / Neutral 边界更模糊
GPU 时间 / 训练成本	measurement pending

DATASET & REASONING

收集与整理猫咪情绪图像，关注类别定义、标注一致性和可解释视觉证据。

探索“观察—证据—结论”的结构化样本，把视觉情绪判断从标签预测推进到可解释推理。