Unsloth 更新
Unsloth 最新版本、改进和修复的更新日志。
要使用最新更改,请更新 Unsloth。
新的重要更新
距离我们上次发布才过去 2 天,但我们有更重要的更新:
推理现在快了 20–30%。 此前,工具调用和重复惩罚会使推理速度低于正常水平。现在每秒推理 token 数应与
llama-server/llama.cpp.现在可自动检测较旧或已存在的模型 下载自 LM Studio、Hugging Face、 以及类似来源。
推理 token/秒速度现在计算正确了。 此前,tokens/s 包含启动时间,导致显示的速度看起来比实际更慢。现在应该会反映“真实”的推理速度。
CPU 使用率不再飙升。 此前,内联查询器身份在每次渲染时都会变化,导致
useLiveQuery持续重新订阅。Unsloth Studio 现在有关闭按钮 x,并且可以正确关闭。 此前,从桌面图标打开后再关闭并不会正确退出。现在,通过快捷方式启动时也会打开终端,关闭该终端即可完全退出 Unsloth Studio。如果你仍然在之前的会话中保持它打开,可以重启电脑或运行
lsof -i :8888然后kill -9 <PID>.更好的工具调用和网络搜索 并减少错误。
更新了文档,新增了大量关于 删除模型、卸载 等内容的信息。
跨 Windows 和 Linux 的安装与设置日志更简洁、更智能。 输出现在更易读,格式更一致,默认更安静以带来更流畅的体验,并支持更丰富的
--verbose诊断信息,当你需要完整技术细节时可使用。你现在可以查看你的训练历史了!
Unsloth Studio 发布后的首次版本
大家好,这是我们发布 Unsloth Studio 之后的第一个版本。新增了很多功能和修复:
你现在可以更新 Unsloth Studio 了! 请通过以下方式更新:
unsloth studio updateWindows 现在 CPU 或 GPU 都可以无缝运行。请重新安装!
应用快捷方式。安装后,你现在可以通过开始菜单 / 启动器和桌面上的快捷方式图标在 Windows、MacOS 和 Linux 上启动。
预编译
llama.cpp二进制文件 以及mamba_ssm——安装速度快 6 倍!二进制文件大小也小于 300MB。安装体积减少 50% (节省 7GB 或更多)、安装速度提升 2 倍、依赖解析更快。pypi 包体积缩小 50%。
工具调用已改进。 更好的 llama.cpp 解析、聊天中不再显示原始工具标记、更快的推理、全新的工具输出面板、计时器。
MacOS 和 CPU 现在有 数据配方 并支持多文件上传。
Linux 上 AMD 支持的初步版本 仅限机器——可自动检测。
设置侧边栏重新设计。 设置现在分组为 模型、采样、工具和偏好
上下文长度 现在可调整。请注意,这其实并不需要,因为 llama.cpp 会通过
--fit on多文件上传。 数据配方现在支持对 PDF、DOCX、TXT 和 MD 进行多文件拖放上传,带有后端提取、已保存上传和改进的预览。
Colab 搭配 Unsloth Studio 的免费 T4 GPU 现在已修复! 在这里试试。由于预编译二进制文件,它的速度也快了 20 倍!
更好的聊天可观测性。 Studio 现在显示
llama-server计时和使用情况、上下文窗口使用条,以及更丰富的来源悬停卡片。整体 UX 更好 ——可点击链接、更好的 LaTeX 解析、默认卡片的工具 / 代码 / 网络提示,以及更多功能!
LiteLLM - Unsloth Studio 和 Unsloth 没有 受到最近 LiteLLM 泄露事件的影响。Nemo Data Designer 仅使用 LiteLLM 到
1.80,并未使用受影响的1.82.7或1.82.8,并且之后已将其完全移除。我们现在有了一个新的单行安装命令,只需运行:
修复:
Windows/设置改进。 修复了 Windows 静默退出、Anaconda/conda-forge 启动崩溃、非 NVIDIA Windows 安装损坏,以及缺少早期 CUDA/旧虚拟环境设置检查的问题。
系统提示已修复。 它们现在可用于非 GGUF 文本和视觉推理。
持久化系统提示和预设。 自定义系统提示和聊天预设现在会在重新加载和页面切换后保留。
GGUF 导出扩展。 完整微调模型,不仅仅是 LoRA/PEFT,现在也可以导出为 GGUF。基础模型解析更可靠,UI 中会禁用不受支持的导出选项。
聊天滚动/布局修复。 修复了生成期间的滚动位置问题、思考面板布局偏移,以及折叠推理面板时的视口跳动。
更智能的端口冲突检测。 Studio 现在可以检测回环冲突,在可能的情况下识别阻塞进程,并给出更清晰的备用端口消息。
最后更新于
这有帮助吗?

