【持续更新】地瓜机器人工具链 & OELLM 最新版本发布汇总 - 社区动态 - 地瓜机器人论坛
如上,X5的OE开发镜像已经很久没有更新了,这个帖子给出x5 OE的版本是v1.2.8,工具链支持的显卡十分有限。无论是使用Docker方案还是手动安装,由于我的显卡是 NVIDIA GeForce RTX 5060 Laptop,都会有下面的报错。(当然对于PTQ任务来说影响不大)
CUDA capability sm_120 is not compatible with the current PyTorch installation.
The current PyTorch install supports sm_37 sm_50 sm_60 sm_70 sm_75 sm_80 sm_86.
要解决这个错误,只能向社区反馈了……因为不仅涉及到 torch / torchvision 要换成支持 sm_120 的版本,而且 horizon_plugin_pytorch / horizon_plugin_profiler 这类预编译的 wheel 包和 torch 版本绑定得很死,会有版本依赖和 abi 兼容问题。需要更新一下整套工具链。
另外,文档给出的不使用Docker的手动安装的说明太少了,如果使用Windows开发机,比起 WSL 套 Docker + NVIDIA Container Toolkit,为什么不直接在一个完全隔离的 WSL 中开发呢?目前我已经成功在 WSL Ubuntu 2204 下手动安装了 PTQ 的环境,但由于显卡限制无法继续测试 QAT 相关工具。
最后,X5的性能还是很不错的,询问一下把量化工具链放到板子上运行的可行性,就类似 trtexec 一样?这样的话系统版本和硬件都相对可控,也没有很复杂的依赖问题。