使用官方修改设备内存分配方法后,DeepSeek_R1_Distill_Qwen的demo就跑不了了!


demo链接:https://github.com/D-Robotics/rdk_model_zoo_s/tree/s100/samples/LLM/DeepSeek_R1_Distill_Qwen

你好,已经收到您的问题,已经记录,这块正式的LLM的工具链还没有释放,可以等9月更新

看能不能快点,目前项目节点紧凑

我看您的诉求时demo的使用,在系统默认情况应该是能使用demo的,项目排期这块确实很难加速,内部研发已经在努力推进,本身这个demo的发布时确实是一个初步的版本没有优化完全