HiDeepSeekDev
空闲特惠
新闻资讯DeepSeekGGUFGSQ-RCO本地推理

ISTA-DASLab 上传 Flash-1017 量化文件:低比特 GGUF 仍需核对主机资源

仓库记录显示核心文件于北京时间 10 月 24 日陆续上传,25 日补充模型卡。12GB 显存的运行说明不等于整机只需 12GB 内存。

快速结论

GSQ-RCO 提供第三方量化文件;模型卡列出 Strata 路径及系统内存、SSD 配合条件。GGUF 格式本身不能证明任意引擎现在就支持该模型。

  • 仓库维护方为 ISTA-DASLab,不是 DeepSeek 官方原始权重发布。
  • 量化文件有多个尺寸,并另有共享 Engram 文件。
  • 作者基准为特定任务与推理力度结果,未由本站复现。

本次更新:10 月 25 日核对原始来源后新增,注明消息日期、适用版本及验证范围。

ISTA-DASLab 在 Hugging Face 提供 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO GGUF 量化文件。提交记录显示 Engram 及各构建核心文件于北京时间 10 月 24 日早间上传,25 日继续更新模型卡。

文件体积与显存分开理解

模型卡列出三个低比特构建。以 IQ2_XXS 为例,主干约 138.24 GB,加共享 Engram 文件约 110.60 GB,总计约 248.84 GB,采用十进制 GB。

作者介绍的单张 NVIDIA 12GB 显存运行路径依赖 Strata,并结合系统内存及 SSD 上的映射文件。不能把显存数字写成整个模型、整机内存或磁盘需求。

文件格式不能代替运行时支持

当前模型卡仍保留“截至 10 月 23 日 llama.cpp 尚不支持 DeepSeek-V4.1”的说明,并将相关命令标为未来支持后的用法。下载前应继续核对所用引擎的最新支持记录,不直接照搬尚带前提的命令。

怎样看量化质量

作者提供特定基准与推理力度下的结果。以下为本站编辑建议:用自己的代码、长文档、工具调用和多语言任务检查质量,同时记录吞吐、首次加载和主机资源占用。

量化文件由第三方制作,不能因模型名称一致就推断行为与官方托管 API 完全相同。本文核对文件与模型卡,没有下载大型权重或运行推理。

参考资料

本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。

  1. 01ISTA-DASLab 量化模型卡与使用限制huggingface.co
  2. 02仓库文件上传与修订历史huggingface.co
阅读至此返回学习中心