首页»版块 智慧生活 平板 如何在MagicPad3 Pro Linux实验室 环境下 使用GPU/NPU进 ...
#荣耀MagicPad3 Pro极客中心#

如何在MagicPad3 Pro Linux实验室 环境下 使用GPU/NPU进行大语言模型推理?

[复制帖子标题和链接]

3622

HONOR2503299215566  LV2  发表于 3 天前 上海 来自:浏览器
本帖最后由 HONOR2503299215566 于 2026-4-23 17:43 编辑

在 MagicPad3 Pro(16GB RAM 、512GB ROM) 最新版本 Linux实验室 环境中,部署了 大语言模型(Qwen 4B)进行推理,响应时间在1分钟以上,中间还会卡死,推理性能很差。
经查询 GPU/NPU 驱动并没有在 Linux实验室环境中加载,导致了只能使用CPU进行推理,完全没有发挥出 GPU/NPU硬件的性能优势。
请问如何在MagicPad3 Pro Linux实验室 环境下 使用GPU/NPU 硬件优势来 加速大语言模型的推理?

附录:
硬件诊断结果
确认的硬件NPU状态:
  • ✅ NPU硬件存在(18个q6v5中断)
  • ✅ NPU正在活跃状态
PCI设备:00:00.0 PCI bridge: Qualcomm Device 012301:00.0 Network controller: Qualcomm Device 110e (rev 01)❌ GPU/NPU驱动问题Vulkan状态:
  • ❌ 只检测到CPU渲染器:llvmpipe (LLVM 15.0.7, 128 bits)
  • ❌ 没有发现Adreno GPU
  • ❌ 没有专有驱动加载
关键发现:
1、NPU硬件存在但驱动可能未正确加载
2、GPU驱动缺失 - 系统只使用CPU渲染
3、专有驱动包 libqti-graphics-vulkan 不在Debian仓库中

评论2
芒焰之翼  LV6  发表于 3 天前 重庆 来自:荣耀GT
参考这个https://www.coolapk.com/feed/70999859?s=NjI4MzdiNGExZGFkNjBlZzY5ZWEzN2E5ega1603

评论

非常感谢您的建议! 我回头也试一下。(目前正在尝试通过 安装 Termux 环境、llama.cpp 来进行加速)  发表于 前天 14:45  上海
您需要登录后才可以评论 登录 | 立即注册
简体中文 - China
快速回复 返回顶部 返回列表