> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/qwen3.8-next.md). # Qwen3.8-Flash-Next：如何在本地运行 Qwen3.8-Flash-Next 本地运行指南。 Qwen3.8-Flash-Next 是一款新的开源权重、 **125B 参数** 来自 Qwen 的 MoE 多模态模型。基于全新的 Qwen4 架构，支持 262K 上下文窗口和高级推理。 [Qwen3.8](/docs/zh/mo-xing/qwen3.8.md)-Flash-Next 的性能优于 Claude-4.6-Opus（Max），并且可在以下设备上本地运行： **75GB RAM**/统一内存，无需 GPU VRAM。要运行该模型，请使用我们的 [GGUF 文件](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF) ，通过 llama.cpp 或 [Unsloth Desktop](/docs/zh/desktop.md)。感谢 Qwen 提供 Day Zero 访问权限。 {% columns %} {% column %} **1-bit 为 75GB** ，并对 Ngram / PLE 使用 4-bit。这是 **缩小了 79%** 相较于 BF16（355GB），并保留了 **80% 的 top-1 准确率**. 运行 Qwen3.8-Flash下载 Unsloth {% hint style="success" %} [**MTP**](#mtp-guide) 来了！在中以 1.3-1.7 倍更快的速度运行 Qwen3.8-Flash [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth)! {% endhint %} {% endcolumn %} {% column %}

在 Unsloth 中运行的 4-bit Qwen3.8-Flash

{% endcolumn %} {% endcolumns %} ### :gear: 使用指南 无论你运行 **Qwen3.8-Flash-Next** 在带系统 RAM 的 CPU 上，或在带 VRAM 的 GPU 上运行，差别可能都相对不大。其独特的架构允许使用 RAM 或统一内存进行推理，性能可接近通常只有在其他模型上使用 GPU VRAM 才能达到的水平。这使它尤其适合 Mac、NVIDIA DGX Spark 系统以及其他具有大容量内存的设备。 你至少需要 **75 GB RAM 或统一内存** 来运行该模型。其最小的 1-bit 量化版本比通常情况更大，这是因为新增了 Ngram 层或逐层嵌入，它们类似于查找表。然而，这也意味着量化不会那么激进，使模型能够比高强度量化模型保留更多原始准确率。你也可以将 PLE / Ngram 层卸载到 SSD，并使用 mmap，这可以减少 CPU 和 GPU VRAM 的使用。 #### Qwen3.8-Flash-Next 要求： 最小量化在 75GB RAM 上可运行，因此最好拥有 96GB RAM/统一内存设备。\ **表：硬件需求** （单位 = 总内存：RAM + VRAM，或统一内存）
1-bit2-bit3-bit4-bit5-bit8-bitBF16
75 GB79 GB90 GB96-114 GB163 GB200 GB355 GB
{% hint style="info" %} 如果你想使用 [MTP](/docs/zh/mo-xing/mtp.md) 以便更快推理，请预留 1-2GB 额外余量。 {% endhint %} ### 推荐设置 Qwen3.8-Flash-Next 是一个 **混合思考** 模型，在思考和非思考模式下有不同的默认设置。默认启用了 Extra high，因此如果你想要更短的思考轨迹，可以 [调整思考力度](#thinking--preserve-thinking): | 参数 | 思考模式 | 指令（非思考）模式 | | -------------------- | ---- | --------- | | `temperature` | 1.0 | 0.7 | | `top_p` | 0.95 | 0.80 | | `top_k` | 20 | 20 | | `min_p` | 0.0 | 0.0 | | `presence_penalty` | 0.0 | 1.5 | | `repetition_penalty` | 1.0 | 1.0 | * 上下文长度 = 最多 `262,144` * 思考模式： `temperature=1.0`, `top_p=0.95`, `top_k=20`, `min_p=0.0`, `presence_penalty=0.0`, `repetition_penalty=1.0` * 指令（或非思考）模式： `temperature=0.7`, `top_p=0.80`, `top_k=20`, `min_p=0.0`, `presence_penalty=1.5`, `repetition_penalty=1.0` ### 💡 思考 + 保留思考 {% columns %} {% column %} Qwen3.8-Flash-Next 具有 **保留思考** 功能，它会保留上一轮对话中的思考轨迹。这会增加你使用的 token 数量，但可能会提高连续对话中的准确性。 [Unsloth](#run-qwen3.8-in-unsloth-desktop) 为 Qwen3.8 提供了“Think”和“保留思考”切换开关（见右侧）： {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} Qwen3.8-Flash-Next 现在支持 `reasoning_effort`，可用于调整推理深度并控制成本。这些切换在 Unsloth 中会自动启用： * `xhigh` （默认）：适用于需要深入分析的复杂任务 * `medium`：在准确性和速度之间取得平衡 * `low`：高效推理，优化速度和成本 * none {% hint style="warning" %} 要更改[ 思考 / 推理](#how-to-enable-or-disable-reasoning-and-thinking) 在以下中的力度 `unsloth run` 或 `llama-server`，请使用 `--chat-template-kwargs '{"reasoning_effort":"medium"}'` 如果你使用的是 **Windows** Powershell，请使用： `--chat-template-kwargs "{\"reasoning_effort\":\"medium\"}"` 将 `medium` 更改为你想要的推理级别。 {% endhint %} ### 量化分析 我们对 Qwen3.8-Flash 的量化版本运行了 KLD 测试，并展示了在减少 79% 磁盘空间占用的情况下，仍可恢复 80% 的 top-1 准确率。新架构使用了 PLE / Ngram，这些部分不会进行那么高强度的量化（最低 4-bit），因为它们具有随机访问模式，过度量化会损害模型。
| 量化版本 | GB | top-1 | 平均 KLD | 99.9% KLD | | ------------ | ----- | ------ | -------- | --------- | | UD-IQ1\_S | 72.5 | 77.325 | 0.396070 | 7.2126 | | UD-IQ1\_M | 74.5 | 79.691 | 0.314739 | 6.1965 | | UD-Q2\_K\_XL | 78.9 | 82.715 | 0.224607 | 4.9121 | | UD-IQ3\_XXS | 82.0 | 85.414 | 0.165120 | 4.0375 | | UD-Q3\_K\_XL | 90.0 | 88.315 | 0.106504 | 3.0538 | | UD-IQ4\_XS | 93.7 | 89.554 | 0.083630 | 2.3677 | | UD-Q4\_K\_XL | 111.3 | 92.255 | 0.046893 | 1.5468 | | UD-Q5\_K\_XL | 158.3 | 93.680 | 0.030415 | 1.0036 | | UD-Q6\_K\_XL | 169.2 | 94.089 | 0.027091 | 0.8416 | | Q8\_0 | 188.2 | 94.122 | 0.026574 | 0.8118 | ## 运行 Qwen3.8-Flash-Next 指南 现在你可以在 Unsloth Desktop 和 llama.cpp 中运行 Qwen3.8-Flash-Next。欢迎自由更改量化类型。 * Hugging Face： [Qwen3.8-Flash-Next-**GGUF**](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF) * ModelScope： [Qwen3.8-Flash-Next-GGUF](https://www.modelscope.cn/models/unsloth/Qwen3.8-Flash-Next-GGUF) 在 Unsloth Desktop 中运行在 llama.cpp 中运行MTP 指南 {% hint style="success" %} Qwen3.8-Flash-Next 现在可以在本地运行于 [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth)! {% endhint %} ### 🦥 在 Unsloth 中运行 Qwen3.8-Flash-Next Qwen3.8-Flash-Next 现在可以运行于 [Unsloth Desktop](#run-qwen3.8-in-unsloth-desktop)，这是一个用于本地 AI 的开源 UI 应用。 **Unsloth 会自动卸载到 RAM 并检测多 GPU 设置**。使用 Unsloth Desktop，你可以在以下设备上本地运行模型 **MacOS、Windows**、Linux，以及： {% columns %} {% column %} * 搜索、下载、 [运行 GGUF 文件](/docs/zh/xin/studio.md#run-models-locally)、MLX 和 safetensor 模型 * [**自我修复** 工具调用](/docs/zh/xin/studio/chat.md#auto-healing-tool-calling) + **网页搜索** * [**代码执行**](/docs/zh/desktop.md#code-execution) （Python、Bash） * [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（temp、top-p 等） * 通过 MLX 和 llama.cpp 实现快速 CPU + GPU 推理 * [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度快 2 倍，VRAM 少 70% {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### 安装 Unsloth 最简单的上手方式是下载 [Unsloth Desktop 应用](/docs/zh/desktop.md)。支持 [macOS](/docs/zh/kai-shi-shi-yong/install/mac.md), [Windows](/docs/zh/kai-shi-shi-yong/install/windows-installation.md)，以及 [Linux](/docs/zh/kai-shi-shi-yong/install/linux.md). 下载 Unsloth * :apple: [下载 macOS 版本](https://unsloth.ai/download/mac) * :windows: [下载 Windows 版本](https://unsloth.ai/download/windows) * :linux: [下载 Linux 版本](https://unsloth.ai/download/linux) 或者，如果你更喜欢手动安装： MacOS、Linux、WSL： ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell： ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### 搜索并下载 Qwen3.8-Flash-Next 前往 [Unsloth Chat](/docs/zh/xin/studio/chat.md) 或 Model hub，在搜索栏中搜索 Qwen3.8-Flash，并下载你想要的模型和量化版本。
{% endstep %} {% step %} #### 运行 Qwen3.8-Flash-Next MTP 会自动启用，不过你可以将其禁用。使用 Unsloth 时，推理参数应会自动设置，不过你仍然可以手动更改。你还可以编辑上下文长度、聊天模板和其他设置。 更多信息可查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md). 例如，使用 Unsloth Desktop 搭配 397GB 的 Qwen3.8（缩小 91%）可以让你切换思考模式、启用内联画布、网页搜索和代码执行等更多功能。
{% endstep %} {% step %} #### 通过 Unsloth API 提供 Qwen3.8-Flash-Next 服务 你可以使用 `unsloth run` 命令，并通过以下方式提供 Qwen3.8 API `llama-server` 运行时标志，包括上下文大小、GPU 层数、线程、采样、网络和工具配置。更多信息请参见我们的 [API 文档](/docs/zh/ji-chu/api.md) 或 [unsloth start](/docs/zh/ji-cheng/unsloth-start.md). {% code overflow="wrap" %} ```bash unsloth run --model unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL ``` {% endcode %} {% endstep %} {% step %} #### Unsloth 现已就绪 你也可以通过 Unsloth Desktop 用 Qwen3.8-Flash-Next 做很多其他事情，例如： * **连接工具：** [Claude Code](/docs/zh/ji-chu/claude-code.md), [Codex](/docs/zh/ji-chu/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu/mcp.md) 等等 * **训练模型：** 微调文本、扩散模型、 [嵌入](/docs/zh/ji-chu/embedding-finetuning.md)，等等 * **生成媒体：** 创建和训练 [图像](/docs/zh/ji-chu/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu/text-to-speech-tts-fine-tuning.md) 本地
{% endstep %} {% endstepper %} ### :llama: 在 llama.cpp 中运行 Qwen3.8-Flash-Next {% stepper %} {% step %} 安装最新版的 llama.cpp。你也可以按照下面的编译说明进行操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后照常继续——Metal 支持默认已启用。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} 要运行该模型，你可以这样做： {% code overflow="wrap" %} ```bash pip install -U "huggingface_hub[cli]" hf download unsloth/Qwen3.8-Flash-Next-GGUF \ --local-dir unsloth/Qwen3.8-Flash-Next-GGUF \ --include "*UD-Q4_K_XL*" # 使用 "*IQ2_XXS*" 表示 2-bit ``` {% endcode %} {% endstep %} {% step %} 然后运行它： {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ1_S/Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf \ --temp 1.0 \ --top-p 0.95 \ --top-k 20 \ --min-p 0.0 ``` {% endcode %} {% endstep %} {% endstepper %} ### MTP 指南 Qwen3.8-Flash 可通过 **1.3 到 1.7 倍更快的推理** 实现 [MTP](/docs/zh/mo-xing/mtp.md) （多 token 预测），且不会降低准确率！MTP 使 Qwen3.8-Flash 能达到 **170 tokens/s** 在 1x RTX 6000 PRO GPU 上，相比 100 token 基线。MTP 通过让模型一次预测多个即将到来的 token，而不是每步生成一个 token，从而加速推理，并且在 GPU 上尤其有效。 要使用 MTP 运行 Qwen3.8-Flash，MTP 在 [Unsloth Desktop](#run-qwen3.8-flash-next-in-unsloth) 中默认启用，或者你也可以使用我们自定义的 llama.cpp PR。
在内存带宽较低的设备上，例如较旧的 Mac，收益会更小。我们创建了共享 MTP 模块（不包含 embed\_tokens，并与主模型共享），可将磁盘空间、RAM 和 VRAM 的使用量节省约 1 到 2GB。 | MTP 类型 | 通用 MTP | 共享 MTP | 节省 | | -------- | ------- | ------- | ------- | | BF16 | 7.77 GB | 5.23 GB | 2.54 GB | | Q8\_0 | 4.14 GB | 2.79 GB | 1.35 GB | | Q4\_K\_M | 2.79 GB | 1.91 GB | 880 MB | 3-bit 的 MTP 量化在 91GB RAM 上可运行，因此最好拥有 96GB RAM/统一内存设备。\ **表：MTP 硬件需求** （单位 = 总内存：RAM + VRAM，或统一内存）
1-bit2-bit3-bit4-bit5-bit8-bitBF16
76 GB80 GB91 GB97-115 GB164 GB200 GB355 GB
#### 运行 MTP Qwen3.8-Flash 要使用 MTP 运行 Qwen3.8-Flash，你只需要 [**安装 Unsloth Desktop**](#run-qwen3.8-flash-next-in-unsloth) 或者更新到最新版 Unsloth，然后重新下载模型或下载 MTP 文件。关于 llama.cpp 的说明请见下文。 {% columns %} {% column %} Unsloth Desktop 适用于 [macOS](/docs/zh/kai-shi-shi-yong/install/mac.md), [Windows](/docs/zh/kai-shi-shi-yong/install/windows-installation.md)，以及 [Linux](/docs/zh/kai-shi-shi-yong/install/linux.md). 下载 Unsloth * :apple: [下载 macOS 版本](https://unsloth.ai/download/mac) * :windows: [下载 Windows 版本](https://unsloth.ai/download/windows) * :linux: [下载 Linux 版本](https://unsloth.ai/download/linux) 在 Unsloth Desktop 中，你还可以更改草稿 token 的数量或自定义 MTP。使用右侧边栏中的高级设置，并启用“高级设置”，然后你可以选择 MTP / Ngram speculative decoding、草稿 token 数量等： {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} #### MTP Llama.cpp 指南 {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone --branch qwen4exp/mtp https://github.com/danielhanchen/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} 然后下载共享 MTP 模块： {% code overflow="wrap" %} ```bash pip install -U "huggingface_hub[cli]" hf download unsloth/Qwen3.8-Flash-Next-GGUF \ --local-dir unsloth/Qwen3.8-Flash-Next-GGUF \ --include "*mtp-Qwen3.8-Flash-Next-shared-Q8_0.gguf*" ``` {% endcode %} 以及如何将 llama-server 与其一起使用： {% code overflow="wrap" %} ```bash llama.cpp/llama-server \ -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL \ -md unsloth/Qwen3.8-Flash-Next-GGUF/MTP/mtp-Qwen3.8-Flash-Next-shared-Q8_0.gguf \ --spec-type draft-mtp --spec-draft-n-max 5 ``` {% endcode %} ### 📊 基准测试 关于 GGUF 量化基准测试，你可以查看上面的我们的 [量化分析](#quantization-analysis) 或 [Dynamic V3.0 文章](/docs/zh/ji-chu/dynamic-3.0-ggufs.md).
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/zh/mo-xing/qwen3.8-next.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.