LLamaFactory微调后模型对比

本地文本大模型对比工具

指定端口部署safetensors格式模型API_PORT=8001 lmf api --model_name_or_path ./dir

查看模型是什么精度python -c "from safetensors.torch import load_file; w=load_file('model.safetensors'); print(list(w.values())[0].dtype)"