这个量化没有做CPU卸载吗?只能用GPU?
--cuda_devices 0 只是指定用 0 号卡,不能从这一个参数推出「只能 GPU」。QuaRot + GPTQ 属于权重量化:要跑校准前向、逐层算 Hessian,主流实现默认把模型放 cuda,但能否纯 CPU 跑或把层/优化器状态卸载到主机内存,取决于这个脚本和 yml 有没有暴露对应的 device / offload 开关,得看源码确认。
我查了 RDK 官方文档,大模型量化这条线(x86 量化环境、oellm_build)只给了 NVIDIA GPU 的推荐配置(RTX 3090、DDR 128G),并提示配置偏低会变慢或失败,没有 run_llmc_serial.sh 的说明,也没有写 CPU-only 模式:LLM 环境部署 / x86 量化环境。所以这套脚本的 CPU 卸载能力不能从官方文档推出。
三个能直接区分的确认点:
bash scripts/run_llmc_serial.sh --help,看是否有--device、--cpu、offload一类参数;- 打开
step_1_quarot.yml、step_2_gptq.yml看有没有 device / device_map / offload_folder 字段,以及脚本里 device 是否被写死成cuda; - 如果现在是在报显存不足:
CUDA out of memory说明还没走到卸载,先降校准样本数/序列长度或换小模型;主机内存不足才是卸载相关的问题。注意即使支持 CPU 卸载,7B 级模型校准也会慢一到两个数量级,官方给 128G DDR 就是因为这部分常落在内存里。
另外这套 llmc 是哪个发布包/版本带出来的(S100/S100P 还是 S600)?不同板子的量化工具链参数不一样,知道来源我可以对着对应文档再确认有没有 CPU/卸载开关。
这套 QuaRot + GPTQ 要用 CUDA,GPTQ 会把当前层搬到 GPU 算,算完放回 CPU,如果是 GPTQ 评测爆显存,把 step_2_gptq.yml 里的 eval.inference_per_block 改成 True