您好！这可能是由于模型推理时BPU可用内存不足导致的。您可以通过输入sudo srpi-config进入系统配置界面，选择Performance Options->选择P2 ION Memory->选择512MB+1024MB+1024MB。完成设置后退出srpi-config并重启开发板后再次尝试推理！这应该能解决您的问题
1 个赞
你好解决了吗？-
其他模型目前不支持哈
这个报错看起来是图片问题，麻烦检测下图片是否完整或图片路径是否正确。
我也是这样，请问解决了吗
成功部署了，谢谢作者大佬。小白总结一下我在部署过程中的小经验：1.如果出现模型初始化失败的报错，很有可能是没有修改ION memory大小为2.5GB，输入sudo srpi-config进入系统配置界面，选择Performance Options->选择P2 ION Memory->选择512MB+1024MB+1024MB。完成设置记得后退出srpi-config并重启开发板。2.(小白很容易犯错)作者运行的命令./build/bin/llama-intern2vl-bpu-cli -m ./Qwen2.5-0.5B-Instruct-Q4_0.gguf --mmproj ./vit_model_int16_v2.bin --image image2.jpg -p “描述一下这张图片.” --temp 0.5 --threads 8 由于模型项目的更新和编译的不同，命令中文件的路径可能是不相同的，应该是不能直接粘贴使用的要记得修改路径。比如我实际调用的命令是：./llama.cpp/build/bin/llama-intern2vl-bpu-cli -m ./Qwen2.5-0.5B-Instruct-Q4_0.gguf --mmproj ./vit_model_int16_v2.bin --image ./img/image2.jpg -p “描述一下这张图片.” --temp 0.5 --threads 8。可见我调用的命令和作者是不同的，这个需要根据自己实际的文件地址去修改。
我的文件层级是这样的，两个模型文件都放在和llama.cpp同一层级下。由于我是在llama.cpp里面进行的编译，所以我的llama-intern2vl-bpu-cli 文件不在作者的./build/bin/llama-intern2vl-bpu-cli -mli 的路径下，而是在./llama.cpp/build/bin/llama-intern2vl-bpu-cli 。再比如如果你将模型文件放在llama.cpp里面那么你对模型的调用地址应该是： ./llama.cpp/Qwen2.5-0.5B-Instruct-Q4_0.gguf .和./llama.cpp/vit_model_int16_v2.bin。.注意linux当中.的意思就是在当前路径下的意思，所以上述我的命令都是在llama.cpp_internv12_bpu当中运行的，而不是在llama.cpp里面运行的。如果在llama.cpp当中运行命令，那么路径也应该进行相应的修改。
1 个赞
没有
我也是在x5平台上，不过是最新的镜像。忘了附上log了，回头我再试下。印象中可能是版本不同导致。所以想了解一下这个文件是怎么产生的。我是不是自己转换产生一个。我现在镜像版本是3.1.1
x5 平台是支持的，这个文件是从模型拆分的onnx文件经过ptq转换的。镜像版本也正常的，可以贴上报错信息看看哈
好的，谢谢，后续会出支持RDK X3版本的吗？
暂时不会哈，因为X3跑大模型效率比较低，会出支持RDK S100的版本。
cp ../src/* ./examples/llava
是要把这个命令改成cp ../src/x5/* ./examples/llava它吗？
对的，谢谢
您好，请看看模型的路径是不是有问题，在运行路径下
成功解决了，就是文件路径出了问题。root@ubuntu:/app/llama.cpp_internvl2_bpu/llama.cpp# ./build/bin/llama-intern2vl-bpu-cli -m ./Qwen2.5-0.5B-Instruct-F16.gguf --mmproj ./vit_model_int16.bin --image image2.jpg -p “描述一下这张图片.” --temp 0.5 --threads 8 他是在llama.cpp里面执行的命令，下载的两个模型也都得仿照llama.cpp里面，这个他应该是没错的。但是iamge2.jpg这个文件，他的路径是llama.cpp_internvl2_bpu/img/image2.jpg。所以他图片的路径错了。建议的修改方法是：把模型文件都挪到llama.cpp_internvl2_bpu里面，让他们和llama.cpp同一层级，然后调用命令./llama.cpp/build/bin/llama-intern2vl-bpu-cli -m ./Qwen2.5-0.5B-Instruct-Q4_0.gguf --mmproj ./vit_model_int16_v2.bin --image ./img/image2.jpg -p “描述一下这张图片.” --temp 0.5 --threads 8
1 个赞
哥们，后面那个yolov8的问题解决了没，遇到了一样的问题，交流下
识别运行确实太慢了，十几秒才能返回答案，准确度暂且不说，这个识别效率如何提升，或者如何使用bpu做加速？
感谢您对 地瓜机器人论坛 的贡献！看看图片路径是否正确
可以试试最新的smolvlm方案，推理更快
1 个赞