FAQ

TIP

• 请先拉取最新代码，并重新执行uv pip install --group main -e .检查问题是否已经解决。

• 再次执行模型下载指令，检查模型是否下载完整，增量下载不会覆盖已下载的模型。

• 建议使用DeepWiki解决问题。

• Issues： 查看 WeClone GitHub 仓库的 Issues 和 Discussions 是否有类似问题。

• 如果问题没有解决，请在Issues中提出。

设备显存不够/Out-of-memory怎么办？

• 调整训练参数
  1. 降低批处理大小 per_device_train_batch_size: 1
  2. 降低最大序列长度 cutoff_len: 512
  3. 替换模型算子 enable_liger_kernel: true 和 use_unsloth_gc: true
  4. 使用 DeepSpeed ZeRO-3 或 FSDP 将模型权重拆分到多个设备或使用 CPU Offloading
  5. 设置 quantization_bit: 4 量化模型参数（仅限于 LoRA 方法）
• 可以先租用在线云平台的GPU进行微调，再将微调后的model_output文件夹下载到本地，在本地部署推理。
• 多模态模型减少image_max_pixels和max_image_num。

---

微调后效果不理想怎么办？

• 使用更大的模型，更多的数据来进行微调。7B模型一般效果很差，14B勉强及格，32B效果较好。
• 使用多模态模型来微调，减少数据集cut的次数。

---

LLaMA-Factory微调相关问题：

• 
• LLaMA-Factory| FAQs | 常见问题

聊天记录打开乱码

不要使用Excel打开，使用IDE例如vscode打开。