2,860
社区成员




目录
DeepSeek-R1-Distill-Llama-8B 介绍
在科技飞速发展的当下,智慧零售正以前所未有的态势重塑着商场的运营模式与顾客体验。商场智能导购作为智慧零售的关键一环,其精准度与高效性直接影响着消费者的购物决策和商场的运营效率。而要实现卓越的商场智能导购功能,强大的技术支撑必不可少。
高通 QCS8550 开发板在这一领域展现出了无可比拟的优势。它采用先进的 4 纳米制程工艺,不仅在制程上领先,更凭借内部搭载的八核 Kryo CPU,实现了强大的计算能力。其中,主频高达 3.2GHz 的超大核,能够轻松应对高强度、复杂的运算任务;四个主频 2.8GHz 的性能内核,在保障性能的同时兼顾了能效比;还有三个主频 2.0GHz 的效率内核,专门负责处理日常的轻负载操作,这种精心调配的内核架构,使得任务处理既高效又节能。
在图形处理方面,集成的 Adreno 740 GPU 表现卓越,支持 4K@60Hz 的显示输出,为高清多媒体展示提供了有力保障。在视频处理能力上,其支持 8K@30fps 的视频编码以及 8K@60fps 的视频解码,并且兼容 H.264 和 H.265 编码标准,无论是播放高清商品介绍视频,还是进行视频流分析,都能轻松胜任。尤为突出的是,QCS8550 整体 AI 算力高达 48TOPS,内部集成的高通 Hexagon 神经网络处理单元,还支持先进的 INT4 AI 精度格式,相比上一代产品,在持续 AI 推理方面实现了 60% 的能效提升,算力48TOPS。这意味着在商场智能导购场景中,无论是实时分析顾客行为、精准识别商品,还是提供个性化的推荐服务,QCS8550 都能以强大的算力作支撑,快速且精准地完成各项复杂任务,为 DeepSeek - R1 等智能算法的高效运行提供坚实基础。当 DeepSeek - R1 遇上高通 QCS8550 开发板 ,二者强强联合,有望为商场智能导购带来一场革新性的解决方案 ,彻底改变传统商场导购模式,为消费者带来前所未有的智能购物体验 。
高通QCS8550芯片参数https://www.qualcomm.com/products/technology/processors/qcs8550
DeepSeek-R1-Distill-Llama-8B模型下载https://hf-mirror.com/aplux/DeepSeek-R1-Distill-Llama-8B
本次测试采用的QCS8550硬件设备https://docs.aidlux.com/guide/hardware/ai-box/AIBoxA8550BM1-user-manual
DeepSeek-R1-Distill-Llama-8B 是一个基于 Llama 架构的 8B 参数语言模型。以下是对它的详细介绍:
Dify 是一个面向未来的开源 LLM 应用开发平台,融合了后端即服务与 LLMOps 理念,为开发者和企业提供生产级的生成式 AI 应用构建能力。以下是具体介绍:
AidLux 是成都阿加犀智能科技有限公司自主研发的 AIoT 应用开发和部署平台,具有以下特点:
AidLux 的应用场景广泛,可用于教学领域,支撑教学 + 开发 + 实践全过程,助力 AI 人才培养;也可用于工业场景,如工业视觉少样本缺陷检测等。此外,阿加犀智能科技还携手高通,以人形机器人解决方案推动具身智能产业创新发展,在人形机器人领域取得了一定成果。
将板卡用usb数据线连接到PC端,通过命令行界面adb调试查看本机IP 命令为ifconfig(例:192.168.100.100)
[需含adb相应驱动,自行安装],adb如何安装使用可以通过大模型查询
ssh -p 2222 aidlux@192.168.100.100
登陆到A8550PM2环境
sudo -i
切换到root用户,密码aidlux
首先卸载系统内预装的nginx,使80端口释放:
systemctl stop nginx
systemctl disable nginx
kill -9 nginx
然后安装docker-compose:
apt update
apt install docker-compose
任选一个目录,如/home,下载配置文件
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
Docker-compose up -d
docker启动后,一共会有10个容器运行
之后即可通过192.168.100.100(示例)访问Dify的网页端界面,并创建一个管理员账号
aid-pkg -i -d aidllm_1.2.0_arm64.aid.gpg
aid-pkg是aidlux的包管理工具;
aid-llm是aidlux的大模型推理引擎;
终端执行:
sudo aidllm install api
sudo aidllm remote-list
(上述列表展示当前可下载的全部模型文件,其中Current Soc 表示模型可适配的高通芯片型号)
终端执行:
sudo aidllm pull <Url>
,把指定模型文件拉取到本地
如:sudo aidllm pull aplux/aplux_qwen2-7B
查看本地已下载的模型:
sudo aidllm list
终端执行:
sudo aidllm api start
当提示successfully,则表示API启动成功
当本地存在多个模型文件,则可以指定模型启动
终端执行:sudo aidllm api start -m <Name>
如:sudo aidllm api start -m aplux_qwen2.5-3B
查询状态:
sudo aidllm api status
停止服务:sudo aidllm api stop
重启服务:sudo aidllm api restart
3.1.确认此时模型以正常启动,可在本机或其他设备上测试
curl -X POST ‘http://192.168.111.133:8888/v1/chat/completions’
–header ‘Content-Type: application/json’
–data-raw ‘{“model”: “aplux_qwen2-7b”,“api_key”: “”,“messages”: [{“role”: “system”,“content”: “You are a helpful assistant”},{“role”: “user”,“content”: “给我讲一个笑话”}],“stream”: true}’
3.2.安装插件
3. 3.添加模型,api-key可随意填写
这里我们添加LLM和embedding模型各一个
3. 4.模型添加完成后,即可添加应用、知识库结合使用
商家名称 | 所在楼层 | 种类 | 营业时间 | 联系电话 | 参考消费 | 会员制度 | WiFi状态 | 评分 | 免费服务 |
周大福珠宝 | 1 | 珠宝 | 10:00-22:00 | 13800138001 | 2000-10000元 | 金卡/钻石卡 | 无 | 4.7 | 免费清洗保养 |
雅诗兰黛专柜 | 1 | 化妆品 | 10:30-21:30 | 13800138002 | 300-2000元 | 积分兑换 | 无 | 4.6 | 皮肤测试 |
%Arabica咖啡 | 1 | 咖啡店 | 08:00-22:00 | 13800138003 | 35-60元 | 电子会员 | 有 | 4.8 | 手冲体验 |
优衣库 | 2 | 服装 | 10:00-22:00 | 13800138004 | 100-500元 | APP会员 | 有 | 4.3 | 自助收银 |
Lululemon | 2 | 运动服饰 | 10:00-21:30 | 13800138005 | 500-1500元 | 社群会员 | 有 | 4.5 | 瑜伽课程 |
江南布衣 | 2 | 服装 | 10:00-22:00 | 13800138006 | 300-1200元 | 储值卡 | 无 | 4.2 | 定制服务 |
Apple Store | 3 | 电子产品 | 10:00-22:00 | 13800138007 | 5000-20000元 | 教育优惠 | 有 | 4.9 | 免费工作坊 |
大疆体验店 | 3 | 电子产品 | 10:00-21:30 | 13800138008 | 2000-15000元 | 无 | 有 | 4.7 | 飞行演示 |
任天堂旗舰店 | 3 | 电子产品 | 10:00-21:00 | 13800138009 | 200-3000元 | 金币兑换 | 有 | 4.8 | 游戏试玩 |
海底捞火锅 | 4 | 餐饮 | 11:00-24:00 | 13800138010 | 120元 | 黑海会员 | 有 | 4.9 | 美甲服务 |
Shake Shack | 4 | 餐饮 | 10:30-22:00 | 13800138011 | 80元 | APP积分 | 有 | 4.4 | 宠物零食 |
本帮宴 | 4 | 餐饮 | 11:00-21:30 | 13800138012 | 150元 | 储值优惠 | 有 | 4.6 | 私房菜单 |
导入文件后点下一步
若选择通用、经济方式,则不调用embedding模型,只用本地环境即可完成
完成后保存。
添加Agent
然后即可与机器人对话,大模型会在知识库中寻找答案并思考回答
从上图能看出大模型能准确找到商场中对应的商店,提供速度可以关闭深度思考,精度也是能保证,同时能提高速度。