8295上使用genie-t2t-run推理失败

rockycheng 2024-11-18 11:10:51

在骁龙8295上使用genie-t2t-run推理失败，报以下错误：

/genie-t2t-run -c /data/local/tmp/callisto/llama2-7b-htp.json -p "why is the sky blue?" <
Using libGenie.so version 1.1.0

[WARN] "Unable to initialize logging in backend extensions."
[ERROR] "Failed to create device: 14001"
[ERROR] "Device Creation failure"
Failure to initialize model
Failed to create the dialog.

这是什么原因呢？设备没有授权？

...全文

984 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

Kratos_yfc 2024-11-23

打赏
举报

有找到原因吗，我也是这样

weixin_38498942 2024-11-22

打赏
举报

需要下载最新的SDK 2.27.0.240926，它将libGenie.so版本提升到了1.1.0。

gen_ondevice_llama.py应该使用最新的SDK再次运行，但对我来说，有效的方法只是将SDK相关的文件替换为$SDK_PATH/bin和$SDK_ATH/lib中的最新文件，并修改json文件：
在hllama2-7b-htp.json中，我必须将“溢出填充bufsize”减小到0。
以前，我随机出现错误1008、5005，二进制文件只是被默默地杀死。

GPU 对于加速复杂计算至关重要，尤其是在机器学习和人工智能领域。要充分利用 GPU 对大型语言模型的潜力，需要专门的工具。这就是 MLC LLM 发挥作用的地方。

在QNN中，可以使用(genis-t2t-run)和这两个工具来进行推理的性能分析。支持在QNX操作系统或Android操作系统上进行性能分析。：提供基本的性能数据，如运行时间、资源消耗等。：提供更详细的性能数据，可能包括各个操作的执行时间、资源使用情况等。：是指在性能分析的同时进行代码质量检查，以发现潜在的问题。：是指跟踪和分析神经网络中各个操作的性能，以优化网络结构或参数。

正如我前面提到的，我们将在这个项目中只使用 OpenCV 包。而且是超级酷的计算机视觉库。当处理像这样的机器学习或计算机视觉项目时，我们需要首先安装软件包。这样，我们就有权力使用它。我先分享一点 OpenCV 的定义，然后我们安装。OpenCV(开源计算机视觉库)是一个开源的计算机视觉和机器学习软件库。OpenCV 旨在为计算机视觉应用提供一个公共基础设施，并加速机器感知在商业产品中的应用。作为一个 BSD 许可的产品，OpenCV 使得企业利用和修改代码变得很容易。现在，让我们使用 PIP 安装它。

人工神经网络(ANN)是一系列算法，旨在通过模拟人脑运作方式的过程来识别一组数据中的潜在关系。这种系统通过分析例子来“学习”执行任务，通常不需要用特定于任务的规则来编程。[## 理解梯度下降背后的数学。从去年 10 月开始，我就有了实现一些简单的神经网络来生成音乐的想法。我当时在 Jupyter 笔记本上做了一些快速实验，最近我终于有时间重写代码并写了一篇关于它的博客。和已经做了类似的工作。两位作者都使用 LSTM 在他们选择的几个鼓轨道上进行训练。对我来说，我选择上帝的羔羊。

当数据湖消费者读取数据时，将扫描分区中的所有文件，至少是读取元数据。分区中的文件数量应该是扫描分区的活动 Spark 任务数量的几倍。也就是说，如果你的分区有 30 个文件，但你的执行程序数乘以每个执行程序的内核数是 130，一般情况下每个执行程序有 100 个内核不做任何事情，你要为此付出代价，包括现金和查询性能。其他调配的服务也是如此，如雪花集群大小或红移插槽。因为所有文件至少都要扫描元数据，所以最好使用支持压缩拼花和一些非分栏格式的 S3 选择。