图生视频训练问题

[chenchao15]

我基于pose模型，加了一些额外的图片输入条件进行了重新训练。训练结果如下：
2000轮：
https://github.com/user-attachments/assets/b54ef88a-e0d6-45e2-8f64-4ad4c5ac77c9
3000轮：
https://github.com/user-attachments/assets/db879a45-9c81-4c03-809d-eff557a58951

为什么训练时间越久，人物的嘴部刚开始反而出现了奇怪的亮斑导致嘴形崩坏？而且不仅仅这个case，几乎所有训练的结果都在视频一开始有嘴部崩坏，然后逐渐消失？
（我没有对嘴部添加任何监督或者别的什么特殊处理，除了数据集和增加参考图输入外，没有改动其他任何训练设置和代码）

[bubbliiiing]

可能需要看看具体添加参考图输入的方式

[guoti777]

我基于pose模型，加了一些额外的图片输入条件进行了重新训练。训练结果如下： 2000轮： https://github.com/user-attachments/assets/b54ef88a-e0d6-45e2-8f64-4ad4c5ac77c9 3000轮： https://github.com/user-attachments/assets/db879a45-9c81-4c03-809d-eff557a58951

为什么训练时间越久，人物的嘴部刚开始反而出现了奇怪的亮斑导致嘴形崩坏？而且不仅仅这个case，几乎所有训练的结果都在视频一开始有嘴部崩坏，然后逐渐消失？ （我没有对嘴部添加任何监督或者别的什么特殊处理，除了数据集和增加参考图输入外，没有改动其他任何训练设置和代码）

可以请教下 参考图输入的方式 吗？直接concat到latent训练几千步根本不收敛