训练集损失 和 验证集损失 一直维持在 一点几，不下降

[youzihaha]

用您的 这个模型 ，加上llama-chinese框架，训练十几万条数据（通用单轮数据+个人单轮数据），训练的时候 ，训练集损失 和 验证集损失 一直维持在 一点几，不下降，有什么办法吗

[CrazyBoyM]

全量微调或者lora微调时把lmhead、norm layer也解开一起训练

[CrazyBoyM]

另外不是说 loss越低越好，建议根据公司需求构建相关评测指标，每学习xx步/轮eval一次中间数据作为对模型训练的可视化监控，纯看loss的方式比较低级，无法满足实际训练生产需求。