> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/kimi-k2.7-code.md).
# Kimi K2.7 Code：如何在本地运行
在你自己的本地设备上运行 Kimi K2.7 Code 的分步指南。
Kimi K2.7 Code 是 Moonshot AI 的智能体编程模型，基于 [K2.6](/docs/zh/mo-xing/kimi-k2.6.md) 在使用约 30% 更少的思考 token 的同时提高任务完成率。这个 1T 参数（32B 激活）的 MoE 模型支持仅思考、视觉和 256K 上下文。它在视觉、编程、智能体、长上下文和聊天任务上提供 SOTA 开源性能。全精度需要 605GB 磁盘空间；Unsloth [Dynamic](/docs/zh/ji-chu/dynamic-3.0-ggufs.md) 2-bit 需要 **325GB（-48%）**。运行 [**Kimi-K2.7-Code-GGUF**](https://huggingface.co/unsloth/Kimi-K2.7-Code-GGUF) 通过 Unsloth Studio 或 llama.cpp。
[**Unsloth Dynamic**](/docs/zh/ji-chu/dynamic-3.0-ggufs.md) **量化** 会将重要层上转为 8-bit，而 1-bit 需要 **310GB+ VRAM/RAM** 配置**.** 对于 **无损** Kimi K2.7，请使用 Q8（`UD-Q8_K_XL`），仅 **大 10GB** 比 Q4（`UD-Q4_K_XL`）。 [DGX Station](/docs/zh/bo-ke/dgx-station.md).
**表：硬件要求** (单位 = 总内存：RAM + VRAM，或统一内存)
| 动态 1-bit | 动态 2-bit | 动态 Q3 | Q8（无损） |
| -------- | --------- | ---------- | ------ |
| 310 GB | 325-350GB | 385-470 GB | 605 GB |
### 📊 量化分析
与 [Kimi-K2.6](/docs/zh/mo-xing/kimi-k2.6.md), `UD-Q8_K_XL` 是无损的，因为 Kimi 对 MoE 权重使用 int4，对其他所有内容使用 BF16，并且 `Q8_K_XL` 遵循这一点。因此，我们在 Kimi-K2.6 转换中使用相同的动态方法。 `UD-Q4_K_XL` 类似，只是其余张量是 `Q8_0`，因此接近全精度，需要 600GB RAM/VRAM。 `UD-Q8_K_XL` 是“真正无损”的。
| 测量 | UD-Q2\_K\_XL | UD-Q4\_K\_XL | UD-Q8\_K\_XL（无损） |
| ---- | ------------ | ------------ | ---------------- |
| 磁盘空间 | 339 GB | 584 GB | 595 GB |
| 困惑度 | \~2.4131 | \~1.8420 | \~1.8419 |
我们遵循了 [jukofyork](https://github.com/jukofyork)的发现，即 `const float d = max / -7;` 而不是默认的 `const float d = max / -8;` 在量化过程中仅作用于 MoE 层。这个针对原生 INT4 MoE 的双射补丁使得 `Q4_0` 量化类型将绝对误差从 1.8% 降低到接近 0%（epsilon）。例如，下方是 Kimi-K2.7-Code 的直方图，你可以看到 -8 完全未被使用：
```
{% endcode %}
如果我们还输入如 [Tool Calling Guide](/docs/zh/ji-chu/tool-calling-guide-for-local-llms.md)中所引用的工具，那么会看到如下内容：
{% code overflow="wrap" expandable="true" %}
```
<|im_system|>tool_declare<|im_middle|># 工具
## 函数
namespace functions {
// 将两个数字相加。
type add_number = (_: {
// 第一个数字。
a: string,
// 第二个数字。
b: string
}) => any;
// 将两个数字相乘。
type multiply_number = (_: {
// 第一个数字。
a: string,
// 第二个数字。
b: string
}) => any;
// 将两个数字相减。
type subtract_number = (_: {
// 第一个数字。
a: string,
// 第二个数字。
b: string
}) => any;
// 写一个随机故事。
type write_a_story = (_: {}) => any;
// 执行终端操作。
type terminal = (_: {
// 你希望执行的命令，例如 `ls`、`rm`，...
command: string
}) => any;
// 调用一个 Python 解释器来运行一些 Python 代码。
type python = (_: {
// 要运行的 Python 代码
code: string
}) => any;
}
<|im_end|><|im_user|>user<|im_middle|>1+1 等于多少？<|im_end|><|im_assistant|>assistant<|im_middle|>
```
{% endcode %}
## 运行 Kimi K2.7 Code 指南
### 🦥 在 Unsloth Studio 中运行 Kimi-K2.7-Code
Kimi K2.7 Code 可以运行在 [Unsloth Studio](/docs/zh/xin/studio.md)，这是一个用于本地 AI 的开源 Web UI。 **Unsloth Studio 会自动卸载到 RAM，并检测多 GPU 配置**。借助 Unsloth Studio，你可以在本地运行模型 **MacOS、Windows**、Linux 上以及：
{% columns %}
{% column %}
* 搜索、下载、 [运行 GGUF](/docs/zh/xin/studio.md#run-models-locally) 和 safetensor 模型
* [**自我修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网络搜索**
* [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash）
* [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（温度、top-p 等）
* 通过 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度提升 2 倍，显存减少 70%
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% stepper %}
{% step %}
**安装并启动 Unsloth**
要安装，请在终端中运行：
MacOS、Linux、WSL：
```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```
Windows PowerShell：
```bash
irm https://unsloth.ai/install.ps1 | iex
```
**启动 Unsloth**
MacOS、Linux、WSL 和 Windows：
```bash
unsloth studio -H 0.0.0.0 -p 8888
```
然后打开 `http://127.0.0.1:8888` （或你指定的 URL）在浏览器中。
{% endstep %}
{% step %}
**搜索并下载 Kimi K2.7-Code**
Unsloth Studio 会自动卸载到 RAM，并检测多 GPU 配置。首次启动时，你需要创建密码以保护账户，并在之后重新登录。
然后前往 [Unsloth Chat](/docs/zh/xin/studio/chat.md) 选项卡并搜索 **Kimi-K2.7 Code** 在搜索栏中下载你想要的模型和量化版本。确保你有足够的算力来运行模型。
{% endstep %}
{% step %}
**运行 Kimi-K2.7-Code**
在使用 Unsloth Studio 时，推理参数应会自动设置，不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。
更多信息请查看我们的 [Unsloth Studio 推理指南](/docs/zh/xin/studio/chat.md).
使用工具调用运行 Qwen3.6 的示例
，这只是我们的小徽标，用来展示如何使用 Unsloth 制作微调模型：
{% code overflow="wrap" %}
```bash
wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png
```
{% endcode %}
{% code overflow="wrap" %}
```bash
wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png
```
{% endcode %}
&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
