[BUG] <title>多图单轮对话全量SFT，loss 变为零

[Evan9978]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

训练过程中 loss 突然降为零

期望行为 | Expected Behavior

No response

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):

备注 | Anything else?

No response

[wuzhanglin123]

我也遇到了单轮对话全量SFT，loss 变为零的情况，8卡训练会一直出现，4卡训练基本不出现

[MickeyFei]

遇到了单论对话lora sft，loss 从step2 开始就为0的情况 8卡训练出现，单卡训练不出现

[Evan9978]

把 tune vision 设置为 false 之后这个问题不再出现了

[LDLINGLINGLING]

有没有可能是设置的有效长度太短，导致loss都不计算了

[Evan9978]

有没有可能是设置的有效长度太短，导致loss都不计算了

这种情况应该不会后面loss全都变零

[HenryHZY]

Changing full fine-tuning to lora fine-tuning works for me.