简介
本项目是 RDK X5 运行 vlm 模型 项目的延续，目前已经解决了SmolVLM 的部署。值得注意的是，SmolVLM只支持英文。
项目组成:
- 第三方 llama.cpp 部署方案
- 模型文件: 包含图像编码模型 SigLip_int16_SmolVLM2_256M_Instruct_MLP_C1_UP_X5.bin , 语言解码模型 SmolVLM2-256M-Video-Instruct-Q8_0.gguf.
- 示例运行文件: 需要替换到 llama.cpp 指定目录下。
- SmolVLM 板端量化方法 （进阶可选）
准备工作
-
准备一块 RDK X5 开发板
-
代码下载
拉取代码
git clone GitHub - zixi01chen/llama.cpp_vlm_bpu
拉取代码
cd llama.cpp_internvl2_bpu
git clone https://github.com/ggerganov/llama.cpp -b b4749替换示例文件
cd llama.cpp
cp ../img/image2.jpg .
cp ../src/x5/* ./examples/llava -
在 RDK X5 平台上编译
cmake -B build
cmake --build build --config Release -
模型下载 下载地址 SmolVLM2-256M-Video-Instruct-GGUF-BPU
配置
使用命令 srpi-config 修改ION memory大小为1.6GB，设置方法参考RDK用户手册配置工具 srpi-config 使用指南Performance Options章节。
运行
在 RDK X5 上运行
./build/bin/llama-smolvlm-bpu-cli -m ./SmolVLM2-500M-Video-Instruct-Q8_0.gguf --mmproj ./vit_model_int16_SmolVLM2_500M_Instruct_X5.bin --image image2.jpg -p "Describe the image in one sentence." --temp 0.5 --threads 8
运行结果：
