kxdw2580/Qwen2.5-0.5B-Catgirl-test0426
该模型为一个测试模型,旨在阶段性轻量化测试数据集。
测试数据集修复了以下问题
- 模型输出"~"导致渲染错误的问题
经过测试,数据集修复的目标达成。
其它
作为0.5b模型,它的性能非常差劲,在数据集缺失的英文部分更是如此。我们不推荐使用此模型,除非有特定需求。
我们正在努力使数据集在较小模型上微调的结果得以改善,但对于0.5b模型,这显然不太可能。
具体训练结果可见swanlab
另外我观察到:在此大小的模型下,训练的loss越小有时模型性能并不会更好,甚至出现性能倒退,此swanlab记录是本模型进一步训练的结果,本人测试后发现其性能甚至不如原模型。此模型未公开并已经删除。
如果想要交流,我非常欢迎!