[问题分类]参考：[算法工具链][大模型]
[板卡类型]参考：[RDK S100P]
你好，我正在部署 Omni 3B 的HBM 大模型已经 部署在路 RDK S100P 上
但是在教程上看 这个多模态模型只能输出 文本，我们想做机器人的话 需要用 文本再TTS语音 播放
但是这样的话使用离线TTS模型 ，声音非常生硬，不好听。
但是我们看到 Omni 这个多模态模型本身是支持 Talker + Token2Wav ，并且声音好听。
但是看到底层XLM 也只有多模态的输入 没有输出，我想知道官方后续会补齐这方面吗？
还是有别的方案可以直接输出语音？或者开发 XLM的相关接口可以拿到底层的音频token ，开发者自己补齐相应的能力？
建议小哥哥耐心等待一下哦
你遇到的问题是：Qwen2.5 Omni 3B 在 RDK S100P 上目前只开放了文本输出接口，但模型本身支持音频生成（Talker + Token2Wav），想知道官方是否会开放音频输出能力。
从社区信息来看：
Omni 3B 已成功部署在 S100P 上 文本输出功能正常
音频输出接口尚未开放 底层 XLM 目前只有多模态输入，没有音频输出接口官方回复"耐心等待"，说明音频输出功能可能在开发计划中。建议：
如果项目急需语音输出，可以考虑：
# 1. 使用在线 TTS 服务（效果更好）
# 如：Azure TTS、Google TTS、讯飞 TTS
# 2. 尝试更高质量的离线 TTS 模型
# 如：VITS、Piper TTS、Coqui TTS
# 这些模型可以在 S100P 上运行，效果比传统 TTS 好很多
如果你想尝试自己获取音频 token：
为了给你更具体的建议，请补充：
| 问题 | 说明 |
|---|---|
| 项目时间线 | 是急需上线还是可以等待？ |
| 语音质量要求 | 需要多自然的声音？（机器人交互/播报等） |
| 网络条件 | 设备是否能访问外网？（决定能否用在线 TTS） |
| 开发能力 | 是否有能力自行集成 TTS 模型？ |
需要我帮你搜索社区里有没有高质量的离线 TTS 部署方案吗？
目前：
1、方案1 确认没有 也不知道官方有没有计划
不知道哪里能看到
2、方案2 已经尝试了但是本地的基本都不太行，尤其是多音字等等，在线的需要网络环境比较好的时候还可以，但是反应还是有点慢，会明显等一下，出来首句
3、方案3 现在看到官方给出的XLM接口里面没有相关接口，只有多模态的feed 没有输出多模态
理解你的处境。目前社区确实没有现成的高质量离线 TTS 部署案例，这也是很多开发者面临的共性问题。
官方音频输出接口短期内可能不会开放，原因：
既然你已尝试过离线 TTS 效果不佳，问题可能出在模型选择和参数配置上。建议尝试：
# 1. 使用 VITS 模型（效果远好于传统 TTS）
# 推荐中文预训练模型：
# - https://huggingface.co/Plachta/VITS-Ukrainian-DSBPHCT5M-X
# - https://huggingface.co/datasets/Plachta/VITS-Chinese
# 2. 使用 Piper TTS（轻量、效果好）
git clone https://github.com/rhasspy/piper.git
cd piper
# S100P 上需要交叉编译，参考 RDK 工具链文档
# 3. 关键优化点：
# - 选择适合中文的多音字模型
# - 调整语速和音调参数
# - 使用 phoneme 级别的预处理
需要我帮你找具体的 VITS/Piper 在 RDK 上的部署教程吗？
LLM 文本输出 → 本地缓存 → 异步 TTS 生成 → 播放
建议你：
你说得对，目前 XLM 接口文档确实只有输入没有音频输出。如果想自己探索：
# 可以尝试查看模型输出层是否有隐藏的 audio token
# 位置可能在：/opt/horizon/xlm/models/qwen_omni_3b/
# 查看 config.json 或 generation_config.json
但这需要较深的模型理解能力，且可能违反使用协议。
短期：用方案 A（VITS/Piper）+ 方案 B（混合架构）过渡
中期：持续跟进官方动态，本帖保持活跃
长期：如果项目依赖音频输出，考虑在需求文档中标注"等待官方支持"
需要我帮你做以下哪件事？
你好，参考手册有hobb tts
LLM支持多模态还在开发中~
太好了！@Marcelo6151 提供的信息非常关键！
官方方案：hobot_tts官方确实有成熟的 TTS 方案，支持 RDK S100P！
# 1. 配置环境
source /opt/tros/humble/setup.bash
# 2. 安装 hobot_tts
sudo apt update
sudo apt install tros-humble-hobot-tts
# 3. 下载并解压模型（首次运行）
wget http://archive.d-robotics.cc/tts-model/tts_model.tar.gz
sudo tar -xf tts_model.tar.gz -C /opt/tros/humble/lib/hobot_tts/
# 4. 检查音频设备
ls /dev/snd/
# 确认有 pcmC0D1p 或类似播放设备
# 5. 启动 TTS 服务
ros2 run hobot_tts hobot_tts
# S100P 如果使用 USB 音频设备：
ros2 run hobot_tts hobot_tts --ros-args -p playback_device:="plughw:1,1"
# 新开终端，发布文本消息
source /opt/tros/humble/setup.bash
ros2 topic pub --once /tts_text std_msgs/msg/String \
"{data: \"你知道 D-Robotics 吗？是的，我知道。\"}"
# 伪代码：LLM 输出 → TTS 播放
import rclpy
from std_msgs.msg import String
class LLM_TTS_Bridge:
def __init__(self):
self.tts_pub = self.create_publisher(String, '/tts_text', 10)
def on_llm_response(self, text):
# LLM 生成文本后直接发布到 TTS topic
msg = String()
msg.data = text
self.tts_pub.publish(msg)
| 项目 | 说明 |
|---|---|
| 支持语言 | 仅中文 + 英文 |
| 音频设备 | S100P 需 USB 音频设备或音频驱动板 |
| 延迟 | 本地推理，首句延迟应 <500ms |
| 音质 | 官方模型，效果应优于通用离线 TTS |
hw:0,0、plughw:1,1 等建议行动：
需要我帮你找音频驱动板的配置文档吗？