快速结论
GSQ-RCO 提供第三方量化文件;模型卡列出 Strata 路径及系统内存、SSD 配合条件。GGUF 格式本身不能证明任意引擎现在就支持该模型。
- 仓库维护方为 ISTA-DASLab,不是 DeepSeek 官方原始权重发布。
- 量化文件有多个尺寸,并另有共享 Engram 文件。
- 作者基准为特定任务与推理力度结果,未由本站复现。
本次更新:10 月 25 日核对原始来源后新增,注明消息日期、适用版本及验证范围。
ISTA-DASLab 在 Hugging Face 提供 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO GGUF 量化文件。提交记录显示 Engram 及各构建核心文件于北京时间 10 月 24 日早间上传,25 日继续更新模型卡。
文件体积与显存分开理解
模型卡列出三个低比特构建。以 IQ2_XXS 为例,主干约 138.24 GB,加共享 Engram 文件约 110.60 GB,总计约 248.84 GB,采用十进制 GB。
作者介绍的单张 NVIDIA 12GB 显存运行路径依赖 Strata,并结合系统内存及 SSD 上的映射文件。不能把显存数字写成整个模型、整机内存或磁盘需求。
文件格式不能代替运行时支持
当前模型卡仍保留“截至 10 月 23 日 llama.cpp 尚不支持 DeepSeek-V4.1”的说明,并将相关命令标为未来支持后的用法。下载前应继续核对所用引擎的最新支持记录,不直接照搬尚带前提的命令。
怎样看量化质量
作者提供特定基准与推理力度下的结果。以下为本站编辑建议:用自己的代码、长文档、工具调用和多语言任务检查质量,同时记录吞吐、首次加载和主机资源占用。
量化文件由第三方制作,不能因模型名称一致就推断行为与官方托管 API 完全相同。本文核对文件与模型卡,没有下载大型权重或运行推理。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。