简介：LLaMA-Factory 是国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）微调设计。

LLaMA-Factory：微调框架的大语言模型。

一、功能特性。

LLaMA-Factory 这是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）微调设计。其主要功能特征包括：

1. 高效低成本。：支持100多个模型的高效低成本微调，简化了模型微调的过程。
2. 易于访问和使用。：提供友好的用户界面，用户可以轻松定制和微调LLMS，无需编写代码。
3. 数据集选项丰富。：支持多个数据集选项，用户可以选择自己的数据集或生成自己的数据集进行微调。
4. 多元化算法支持。：微调方法与优化技术࿰集成了业界最广泛的应用c;如LoRA、GaLore、Dora等等。
5. 实时监控和评估。：支持集成Tensorboardard、监控工具，如VanDB和MLflow，#xff0c;便于实时监控训练过程，评估模型性能。
6. 极速推理。：基于vllm的OpenAI风格API提供、浏览器界面和命令行界面，实现快速推理。

二、安装。

LLaMA-Factory 安装相对简单，以下是一般安装步骤（以conda环境为例）：

1. 创建Python环境。：
   使用conda创建一个新的Python环境，并安装必要的依赖库，如PyTorch等。

2. 克隆LLaMA-Factory项目。：
   通过Git克隆LaMA-Factory的源代码到本地。

   git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git。

3. 安装依赖。：
   进入项目录󿀌安装必要的Python依赖库。

   cd LLaMA-Factory pip install -e ".[torch,metrics]"

4. 启动服务。：
   运行在项目目录中。python src/train_web.py。启动服务󿀌然后在浏览器中访问相应的端口（默认可能是7860）访问训练界面。

三、支持算法。

LLaMA-Factory 支持各种先进的微调算法和模型，包括但不限于：

• 各种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 集成方法：（增量）（预训练;多模态）#xff0;对微调进行指导监督，培训奖励模型，PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
• 各种精度：16 比特全参数微调，冻结微调，LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
• 先进算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 和 Agent 微调。
• 实用技能：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 快速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行界面。

四、性能指标。

与 ChatGLM 官方的 P-Tuning 与#xfff0相比，微调c;LLaMA Factory 的 LoRA 微调提供了 3.7 倍加速比，同时，在广告文案生成任务上取得了更高的成就 Rouge 分数。结合 4 比特量化技术󿀌LLaMA Factory 的 QLoRA 微调进一步减少 GPU 显存消耗。

GPU现有消耗：

五、微调例子。

以下是LLAMA-Factory对Yuan2的使用.LoRA微调0模型的例子：

1. 准备数据集。：
   准备自定义数据集，JSON格式࿰可以c;包括指令、输入和输出等信息。
2. 注册数据集。：
   在LLAMA-Factory的数据集管理文件中注册自定义的数据集。
3. 启动Web UI服务。：
   运行。python src/train_web.py。启动Web UI服务󿀌并打开浏览器中的相应地址。
4. 配置微调参数。：
   模型路径配置在Web界面上，微调方法（选择LoRA）、数据集等参数。
5. 开始微调。：
   点击“开始”按钮开始微调过程，训练进度和损失函数等信息可以在界面中查看。
6. 评估模型。：
   微调完成后，使用LLaMA-Factory提供的评估工具来评估模型，检查模型性能是否有所提高。

通过上述步骤�LLAMA-Factory用户可以轻松实现LLMS的微调，在特定任务中提高模型的性能。

如何系统地学习大模型LLM？ ？

大模型时代󿀌流行的LLM模型让程序员重新评估他们的技能。 “。人工智能将取代这些行业。？”“。谁的饭碗又不保了？等问题热议不断。

事实上，抢你饭碗的不是AI，但是会使用AI的人。

继。科大讯飞，阿里，华为。人工智能产品发布后等巨头公司󿀌许多中小企业也纷纷进入！超高年薪，人工智能大模型人才挖掘#xff01;现在大厂老板，也更倾向于会AI的人，普通程序员󿀌还有机会应对吗？

而不是焦虑...

不如成为「。掌握AI工具的技术人员。」，毕竟人工智能时代󿀌谁先试试#xff00c;谁能抓住机会！

但与LLM相关的内容有很多，现在网上关于LLM的老课程老教材太少了。所以现在小白只能靠自学，学习成本和门槛都很高。

所有遇到自学困难的学生，我帮大家系统梳理大模型学习脉络󿀌将这份。 LLM大模型数据。分享：包括。LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程。等, 😝有需要的小伙伴，可以。 扫描下面的二维码。#x1f1933;↓↓↓。

👉CSDN礼包。🎁：全网最完整的LLM大模型入门+免费分享高级学习资源包。（安全链接�放心点击）#;👈

。

一、LLM大模型经典书籍。

AI大模型已成为当今科技领域的热点，以下大型书籍是非常好的学习资源。

二、收集640套LLM大模型报告。

这套包含640份报告的集合，涵盖理论研究、技术实现、工业应用等多个方面的大模型。不管你是研究人员还是工程师，还是对AI大模型感兴趣的爱好者，本报告集将为您提供有价值的信息和启示。(几乎涵盖所有行业)。

LLM大模型系列视频教程。

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线。 ↓。

阶段1：人工智能大模型时代的基本理解。

• 目标。：了解人工智能大模型的基本概念、发展过程和核心原理。

• 内容。：

  • L1.1 简述人工智能和大模型的起源。
  • L1.2 大模型和通用人工智能。
  • L1.3 GPT模型的发展过程。
  • L1.4 模型工程。
  • L1.4.1 知识大模型。
  • L1.4.2 生产大模型。
  • L1.4.3 模型工程方法论。
  • L1.4.4 模型工程实践。
  • L1.5 GPT应用案例。

阶段2：AI大模型API应用开发项目。

• 目标。：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容。：

  • L2.1 API接口。
  • L2.1.1 OpenAI API接口。
  • L2.1.2 Python接口接入。
  • L2.1.3 BOT工具框架。
  • L2.1.4 代码示例。
  • L2.2 Prompt框架。
  • L2.3 流水线工程。
  • L2.4 总结和展望。

阶段3：AI大模型应用架构实践。

• 目标。：深入了解AI大模型的应用架构，并且可以进行私有化部署。

• 内容。：

  • L3.1 Agent模型框架。
  • L3.2 MetaGPT。
  • L3.3 ChatGLM。
  • L3.4 LLAMA。
  • L3.5 介绍其它大模型。

阶段4：AI大模型私有化部署。

• 目标。：掌握各种AI大型模型的私有化部署，包括多模态和特定领域模型。

• 内容。：

  • L4.1 模型私有化部署概述。
  • L4.2 模型私有化部署的关键技术。
  • L4.3 实施模型私有化部署的步骤。
  • L4.4 模型私有化部署的应用场景。

这份。 大型LLM模型数据。包括。LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程。等, 😝有需要的小伙伴，可以。 扫描下面的二维码。#x1f1933;↓↓↓。

👉CSDN礼包。🎁：全网最完整的LLM大模型入门+免费共享高级学习资源包。（安全链接�放心点击）#;👈

。