如何使用 Unsloth 在 Windows 上微调 LLM（分步指南）

了解如何在 Windows 上安装 Unsloth，以便开始在本地微调 LLM。

您现在可以直接在本地 Windows 设备上，无需 WSL，通过以下方式微调模型： Unsloth。本指南提供 3 种主要方法可供使用（Conda, Docker 和 WSL）。如果您已经在 Windows 上安装了 PyTorch， pip install unsloth 应该可以工作。否则，请按照下面的指南：

Conda 教程 Docker 教程 WSL 教程

Unsloth Studio

我们推出了一个名为 Unsloth Studio 的新 Web UI，可在 Windows 上开箱即用：

irm https://unsloth.ai/install.ps1 | iex

然后每次启动时：

unsloth studio -H 0.0.0.0 -p 8888

有关 Unsloth Studio 的详细安装说明和要求，查看我们的指南.

下面是原始 Unsloth Core 的安装说明：

方法 #1 - 通过 Conda 使用 Windows：

安装 Miniconda（或 Anaconda）

下载 Anaconda 这里。我们的建议是使用 Miniconda。要使用它，先打开 Powershell——在开始菜单中搜索“Windows Powershell”：

然后它会打开 Powershell：

然后复制粘贴下面内容：CTRL+C，再在 Powershell 中粘贴 CTRL+V：

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

接受警告并点击“仍然粘贴”并等待。

它会像下面这样下载安装程序：

安装后，打开 Anaconda Powershell Prompt 通过开始菜单 -> 搜索它来使用 Miniconda：

然后您会看到：

创建 conda 环境

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

您会看到：

检查 nvidia-smi 以确认您有 GPU，并查看 CUDA 版本

输入 nvidia-smi 到 Powershell 后，您应该会看到类似下面的内容。如果您没有 nvidia-smi ，或者下面的内容没有弹出，您需要重新安装 NVIDIA 驱动程序.

安装 PyTorch

运行 nvidia-smi 时，您会在右上角看到：“CUDA Version: 13.0”。在 PowerShell 中通过以下方式安装 PyTorch。将 130 改为您的 CUDA 版本——确保版本存在并且与您的 CUDA 驱动版本匹配。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

您会看到：

安装 PyTorch 后，尝试在 Python 中运行这个： python ：

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

您应该会看到一个全为 10 的矩阵。第一个也应返回 True。

安装 Unsloth（仅当 PyTorch 正常工作时！）

确认 PyTorch 能正常工作并运行——如果不行，说明 PyTorch 已损坏，这意味着您的 Windows 机器可能不幸需要重新安装 CUDA 驱动程序。

在 Powershell 中（通过以下方式退出 Python 后 exit() ，执行并等待：

pip install unsloth

验证 Unsloth 是否正常工作

现在使用 Unsloth 笔记本中的任意脚本（保存为 .py 文件），或者使用下面的基础脚本：

from unsloth import FastLanguageModel, FastModel
import torch
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
max_seq_length = 512
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files = {"train" : url}, split = "train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-270m-it",
    max_seq_length = max_seq_length, # 长上下文可任选！
    load_in_4bit = True,  # 4 位量化。False = 16 位 LoRA。
    load_in_8bit = False, # 8 位量化
    load_in_16bit = False, # 16 位 LoRA
    full_finetuning = False, # 用于完整微调。
    trust_remote_code = False, # 启用以支持新模型
    # token = "hf_...", # 如果使用受限模型，请使用一个 token
)

# 执行模型补丁并添加快速 LoRA 权重
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # 支持任意值，但 = 0 已优化
    bias = "none",    # 支持任意值，但 = "none" 已优化
    # [新] “unsloth” 可减少 30% 显存，占用，适配 2 倍更大的批量大小！
    use_gradient_checkpointing = "unsloth", # 超长上下文时可设为 True 或 "unsloth"
    random_state = 3407,
    max_seq_length = max_seq_length,
    use_rslora = False,  # 我们支持 rank stabilized LoRA
    loftq_config = None, # 以及 LoftQ
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 60,
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)
trainer.train()

您应该会看到：

🦥 Unsloth：将为您的电脑打补丁，以实现 2 倍更快的免费微调。
🦥 Unsloth Zoo 现在将为一切打补丁，让训练更快！
==((====))==  Unsloth 2026.1.4：快速 Gemma3 打补丁。Transformers: 4.57.6。
   \\   /|    NVIDIA GeForce RTX 3060. Num GPUs = 1. Max memory: 12.0 GB. Platform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     免费许可证：http://github.com/unslothai/unsloth
Unsloth：已启用快速下载——请忽略红色的下载进度条！
Unsloth：Gemma3 不支持 SDPA——切换到 fast eager。
Unsloth：使 `model.base_model.model.model` 需要梯度
Unsloth：正在分词 ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth：将为您的电脑打补丁，以实现 2 倍更快的免费微调。
🦥 Unsloth：将为您的电脑打补丁，以实现 2 倍更快的免费微调。

然后训练：

方法 #2 - Docker：

对于 Windows 用户来说，Docker 可能是开始使用 Unsloth 的最简单方式，因为无需设置，也没有依赖问题。 unsloth/unsloth 是 Unsloth 唯一的 Docker 镜像。对于 Blackwell 和 50 系列 GPU，请使用同一个镜像——不需要单独的镜像。

如需安装说明，请按照我们的 Docker 指南，否则这里有一个快速入门指南：

安装 Docker 和 NVIDIA Container Toolkit。

通过以下方式安装 Docker Linux 或 Desktop （其他）。然后安装 NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

运行容器。

unsloth/unsloth 是 Unsloth 唯一的 Docker 镜像。

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

访问 Jupyter Lab

前往 http://localhost:8888 并打开 Unsloth。访问 unsloth-notebooks 选项卡以查看 Unsloth 笔记本。

开始使用 Unsloth 训练

如果您是新手，请按照我们的分步微调指南, RL 指南或者直接保存/复制我们任意预制的 notebooks.

Docker 问题——未检测到 GPU？

尝试通过以下方式使用 WSL Windows

方法 #3 - WSL：

安装 WSL

打开命令提示符、终端并安装 Ubuntu。如果提示，请设置密码。

wsl.exe --install Ubuntu-24.04
wsl.exe -d Ubuntu-24.04

如果您没有执行 (1)，也就是您已经安装了 WSL，请输入 wsl 并在命令提示符中按 ENTER

wsl

安装 Python

sudo apt update
sudo apt install python3 python3-full python3-pip python3-venv -y

安装 PyTorch

pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130

如果遇到权限问题，请使用 –break-system-packages 因此 pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

安装 Unsloth 和 Jupyter Notebook

pip install unsloth jupyter

如果遇到权限问题，请使用 –-break-system-packages 因此 pip install unsloth jupyter –-break-system-packages

通过 Jupyter Notebook 启动 Unsloth

jupyter notebook

然后在 Unsloth 笔记本中打开我们的 notebooks 并加载它们！您也可以前往 Colab notebooks 并下载 > 下载 .ipynb，然后加载。

如果您正在使用 GRPO 或计划使用 vLLM，目前 vLLM 不直接支持 Windows，只能通过 WSL 或 Linux 支持。

故障排除 / 高级

对于 高级安装说明 或者如果您在安装过程中看到奇怪的错误：

安装 torch 和 triton。请访问 https://pytorch.org 安装它。例如 pip install torch torchvision torchaudio triton
确认 CUDA 是否已正确安装。尝试 nvcc。如果失败，您需要安装 cudatoolkit 或 CUDA 驱动程序。
如果使用 Intel GPU，您需要手动按照我们的 Intel Windows 指南
安装 xformers 。您可以尝试安装 vllm 并查看 vllm 是否成功。检查 xformers 是否已成功，使用 python -m xformers.info 访问 https://github.com/facebookresearch/xformers。另一个选项是安装 flash-attn 以适用于 Ampere GPU。
请再次确认您的 Python、CUDA、CUDNN、 torch, triton以及 xformers 的版本彼此兼容。 PyTorch 兼容性矩阵可能会很有用。
最后，安装 bitsandbytes 并使用以下命令检查它 python -m bitsandbytes

最后更新于1天前

这有帮助吗？

hashtagUnsloth Studio

hashtag方法 #1 - 通过 Conda 使用 Windows：

hashtag方法 #2 - Docker：

hashtag方法 #3 - WSL：

hashtag故障排除 / 高级

Unsloth Studio

方法 #1 - 通过 Conda 使用 Windows：

方法 #2 - Docker：

方法 #3 - WSL：

故障排除 / 高级