这里能不能改一下

这个代码写的太糙了吧,量化跑好几个小时,因为一个路径问题就要重新跑一遍,都不知道加个路径检查处理吗?

[rank0]: Traceback (most recent call last): [rank0]: File “/home/a/user/sundongdong/oellm/D-Robotics_LLM_2.0.0_S600_S100_SDK/llm_compression/lightcompress/scripts/../llmc/main.py”, line 229, in [rank0]: mkdirs(save_trans_path) [rank0]: File “/home/a/user/sundongdong/oellm/D-Robotics_LLM_2.0.0_S600_S100_SDK/llm_compression/lightcompress/llmc/utils/utils.py”, line 71, in mkdirs [rank0]: raise Exception(f’{path} existed before and is not empty. Need check.') [rank0]: Exception: ./adapt_runs/qwen3_5_w4a8/step1/transformed_model existed before and is not empty. Need check.

这个 Exception 不是量化计算失败,而是 llmc/utils/utils.py:71 的 mkdirs 在保存阶段做的防覆盖保护:./adapt_runs/qwen3_5_w4a8/step1/transformed_model 里已经有上一次运行留下的非空产物,脚本拒绝覆盖。关键是别急着删——先判断这份残留能不能直接用。

官方 大模型工具链_v2.0.0 只介绍功能、已适配模型和下载,没有 lightcompress 的脚本参数说明,所以“有没有 --force/跳过开关”只能以你本地代码为准:

grep -nE "force|overwrite|exist_ok|skip|resume" llmc/main.py llmc/utils/utils.py
bash scripts/run_llmc_serial.sh --help

再按残留状态二选一:

  1. 残留是同一模型、同一份 step1 配置跑出来的完整输出(目录里有完整的配置文件+权重,不是中断留下的半份):不要重跑 step1,直接跑 step2(GPTQ)那份 yml,确认它读取输入的字段指向这个 transformed_model。这样只损失 step1,不用重走后面几小时。
  2. 残留是中断产物或配置已改:不删,改名备份,然后只重跑失败的那份配置:
cd ./adapt_runs/qwen3_5_w4a8/step1
mv transformed_model transformed_model.bak_$(date +%m%d_%H%M)

或者把 yml 里 step1 的输出目录换到新路径(如 step1b/transformed_model)——但 step2 里引用该路径的字段必须同步改,否则 step2 还去读旧目录。以后建议每轮实验用独立 run 目录,别复用同一个 qwen3_5_w4a8/step1。

方便的话说一下:这份 transformed_model 是上一次跑完的正常产物,还是中途中断留下的?我好判断第 1 条能不能直接走。

是cuda OOM中断留下的step1/transformed_model是空的,用代码判断一下这个路径下是否有完整产物很难吗?直接报错我还要重新跑一整天

这个批评是成立的:utils.py:71 的 mkdirs 只判断「目录存在且 listdir 非空」就抛异常,没有任何产物完整性校验;而它是在 main.py:229 的保存阶段才调用,等于前面几小时的计算全白做。你说是空的、异常却报 not empty,先确认里面到底是什么残留:

d=./adapt_runs/qwen3_5_w4a8/step1/transformed_model
ls -lA "$d"; du -sh "$d"
sed -n '210,235p' llmc/main.py

避免再踩,按代价从低到高:

  1. 启动前清理,零改动(最实用)。跑之前先执行,把残留挪走,保存阶段就不会再撞:
d=./adapt_runs/qwen3_5_w4a8/step1/transformed_model
[ -d "$d" ] && mv "$d" "$d.bak_$(date +%m%d_%H%M)"

之后 step1 重新生成的仍是原路径名,step2 里引用该路径的字段不用改。

  1. 本地改一份 mkdirs(非官方支持,只动你自己的 SDK 副本),把「报错」换成「备份后继续」:
def mkdirs(path):
    if os.path.isdir(path) and os.listdir(path):
        bak = f"{path}.bak_{time.strftime('%m%d_%H%M%S')}"
        os.rename(path, bak)
        print(f"[warn] {path} not empty, moved to {bak}")
    os.makedirs(path, exist_ok=True)

这样就算保存前目录脏了也不会中断本轮,最多多一份 bak 目录。

  1. OOM 本身得先压下来,否则换目录也只是再断一次。看你那份 step1 yml 里实际的 batch/校准样本数/GPU 数量字段,把峰值降到你显存装得下的量,单卡时用 CUDA_VISIBLE_DEVICES=0 独占;改完先小样本跑通一遍再上全量。

官方地瓜 LLM 开发流程只介绍「获取模型→量化→端侧部署」这条链路,没有 lightcompress 内部脚本和参数说明,所以上面第 2 条只能作为本地改动,不建议当作官方修复看待。如果你能贴一下 main.py 210–235 行和 step1 那份 yml,我可以确认 mkdirs 之前是否已经产生了可复用中间结果(若有,也许能省掉一部分重算)。

你好,可以改,脚本启动时应该先检查第 1 步的权重有没有存全,存全了就直接跑 GPTQ,这次显存用完时权重还没存下来,这版接不上断点,可以尝试:把旧的 step1 目录改名留着,先单独重跑 step_1_quarot.yml