LLaMA Factory 是一个开源的大语言模型微调框架，它提供了一套高效、易用的工具集，支持多种主流大语言模型（如 LLaMA、ChatGLM、Qwen 等）的微调与部署。该框架具有以下突出特点：
- 支持模型丰富：兼容 100+种大语言模型，涵盖 LLaMA、Baichuan、ChatGLM、Qwen 等主流架构。
- 训练效率高：集成多种高效微调技术（LoRA、QLoRA 等），大幅降低显存需求。
- 界面友好：提供直观的 Web UI，支持零代码操作的模型训练与推理。
- 功能完整：覆盖模型预训练、指令微调、奖励模型训练等全流程。
无论您是研究者、开发者还是企业用户，LLaMA Factory 都能帮助您快速构建和定制专属的大语言模型应用。
环境配置与 LLaMA Factory 安装
1. 安装 Git
在终端中执行以下命令，安装 Git 版本控制工具：
sudo apt install git2. 下载 LLaMA-Factory
使用 Git 克隆 LLaMA Factory 项目仓库：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
3. 安装 Conda
1、安装 Conda 所需依赖：
sudo apt install libgl1-mesa-glx libegl1-mesa libxrandr2 libxrandr2 libxss1 libxcursor1 libxcomposite1 libasound2 libxi6 libxtst6
2、下载 Conda 安装包：
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
3、安装 Conda：
bash Anaconda3-2024.10-1-Linux-x86_64.sh在安装过程中，一路回车并输入 `yes`。注意：当终端出现 `Anaconda3 will now be installed into this location:` 提示时，可输入自定义路径来指定 Conda 的安装位置（直接回车将默认安装到 HOME 目录）。
4、配置 Conda 环境：
默认情况下，Conda 环境可能未自动配置。
首先，查看 Conda 的安装位置：
which conda
然后，编辑 `~/.bashrc` 文件：
nano ~/.bashrc
在 `.bashrc` 文件的最后一行加入：export PATH=/home/ad/anaconda3/bin:$PATH (请将 ad 替换为您的实际用户名)。按 Ctrl+x 保存并退出编辑。
使配置生效：
source ~/.bashrc使用 conda -V 命令查看 Conda 版本，确认配置已正常生效。
conda -V
4. 创建 LLaMA Factory 环境并安装依赖
1、创建名为 llama-factory 的微调环境：
conda create -n llama-factory python=3.10
激活环境：
conda activate llama-factory配置环境后，直接激活环境可能报错，需要先初始化。
解决方案：
source activateconda deactivateconda activate llama-factory
2、进入 llama-factory 环境后，切换到 LLaMA-Factory 项目目录下，安装相关依赖：
pip install -e ".[torch,metrics]" --no-build-isolation -i https://mirrors.aliyun.com/pypi/simple
3、启动 LLaMA-Factory Web UI：
llamafactory-cli webui
如果在虚拟机 Ubuntu 20.04 上安装 LLaMA Factory，可以通过宿主机的 IP 地址访问其 Web 界面。
Ubuntu 可视化系统也能直接访问 LLaMA Factory 界面。
5. 通过 Gradio 公开域名进行微调
对于无桌面环境的 Ubuntu 服务器版，若需通过图形界面进行微调，可利用 Gradio 创建公开域名链接。
CUDA_VISIBLE_DEVICES=0表示使用第一张显卡。GRADIO_SHARE=1表示创建 1 个公开域名链接。
首先，查看系统中有多少张显卡：
nvidia-smi -L
1、尝试启动命令行并开启 Gradio 分享：
CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli webui若遇到 Gradio 报错：
解决方案：
创建 Gradio Frpc 目录：
mkdir -p /home/ad/.cache/huggingface/gradio/frpc
进入该目录：
cd /home/ad/.cache/huggingface/gradio/frpc
原下载方式可能存在问题：
wget https://github.com/gradio-app/gradio/raw/main/gradio/frpc_linux_amd64 -O frpc_linux_amd64_v0.3
可选择通过 Windows 浏览器下载该文件，并手动上传到 frpc 目录下。文件链接：
https://cdn-media.huggingface.co/frpc-gradio-0.3/frpc_linux_amd64
上传文件后，将其重命名：
mv frpc_linux_amd64 frpc_linux_amd64_v0.3
为文件添加执行权限：
chmod +x frpc_linux_amd64_v0.3
再次启动，开启 Gradio 分享功能：
CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli webui
成功生成公开域名链接，可供远程访问或分享使用：
https://265175b551a47a2dd5.gradio.live/
至此，LLaMA Factory 已成功部署。
训练效果展示
