【存内计算在AI大模型时代应用最佳实践系列】二十七:存内一体的端和边缘小算力企业

完美句号 存内计算大使 2024-02-09 22:44:16

 

1. 闪易半导体/闪亿:

闪易半导体是一家研发高性能、低功耗、低成本的存算一体化AI芯片的集成电路公司,团队成员分别毕业于清华大学和北京大学,分别在中美两国的电路设计生产、人工智能开发企业担任研发负责人。公司计划在三年内完成第一代语音产品在家电和物联网领域的推广和量产,同时设计和开发好第二代产品,用于图像识别及安防领域。

闪亿所使用的新型存储器PLRAM具有高精度(8-10比特),高线性度,高能效的特点,是第一种可以大规模量产的精度超过8bit的忆阻器,可以赋能存算一体化计算架构。基于新型忆阻器技术,可实现深度神经网络的模拟计算,在未来物联网生态的端侧和边缘侧中将发挥出重要作用。

闪锌石HEXA01作为首款集成PLRAM忆阻器阵列的芯片产品,其算力功耗比可达到10TOPS/W,而成本却比传统AI芯片下降一半以上,在智能家电、智能音箱、安放监控以及便携式可穿戴设备中发挥语音和图像识别的应用,还可用于工业IoT、医疗监护、通讯基带和自动驾驶中的专用信号处理。


2. Mythic:

Mythic是专注于研发深度学习的神经网络芯片的公司,该公司推出的新型的芯片和软件,无需通过云端就能在本地设备中实现语音控制、计算机视觉和其他的AI技术;这款芯片大小相当于衬衫纽扣,通过相匹配的软件,使之能与其他处理器和内存一起工作。Mythic 模拟矩阵处理器 (Mythic AMP™) 在功率、性能和成本方面具有巨大优势。它们降低了创新的障碍,使创建强大的边缘人工智能解决方案变得更加容易和更具成本效益。

Mythic AMP 通过在密集闪存阵列内执行推理深度神经网络所需的计算来利用模拟计算。这代表了相对于典型数字架构的显着优势。借助 Mythic 的集成开发环境,人工智能开发人员甚至可以快速部署最复杂的深度神经网络,并确信它们将有效执行——从数据中心到边缘设备。

M1076 Mythic AMP™:

M1076 Mythic AMP™ 在单芯片中提供高达 25 TOPS,适用于高端边缘 AI 应用。M1076 集成了 76 个 AMP 块,可存储多达 80M 的权重参数并执行矩阵乘法运算,无需任何外部存储器。这使得 M1076 能够提供桌面 GPU 的 AI 计算性能,同时消耗高达 1/10 的功率 - 所有这些都在一个芯片中。支持 INT4、INT8 和 INT16 操作,4 通道 PCIe 2.1 接口,带宽高达 2GB/s,用于推理处理,运行复杂机型典型功耗3~4W。

使用 Mythic 的 AI 软件工作流程在 Mythic 模拟矩阵处理器 (Mythic AMP TM )上实施和部署在 Pytorch、Caffe 和 TensorFlow 等标准框架中开发的 DNN 模型。模型经过优化,从 FP32 量化到 INT8,然后针对 Mythic 模拟计算引擎 (Mythic ACE TM ) 进行再训练,然后通过 Mythic 强大的图形编译器进行处理。然后将生成的二进制文件和模型权重编程到 Mythic AMP 中进行推理。开发人员还可以使用经过预审的模型来快速评估 Mythic AMP 解决方案。


3. SST/Cypress:

Silicon Storage Technology, Inc. (SST) 是 SuperFlash® 技术的创造者,该技术是一种创新、高度可靠和通用的 NOR 闪存。SST 是 Microchip Technology Inc. 的全资子公司,专注于将嵌入式非易失性存储器 (NVM) 技术授权给代工厂、集成设备制造商 (IDM) 和无晶圆半导体公司,用于汽车、安全智能卡、物联网 (IoT)、人工智能 (AI)、工业和消费市场。

memBrain™ 神经形态内存产品基于 SuperFlash ®技术以计算用于神经网络推理的向量矩阵乘法 (VMM),通过模拟内存计算方法改进了 VMM 的系统架构实现,增强了边缘的 AI 推理。memBrain 神经形态产品将突触权重存储在浮栅存储器内,以显着改善系统延迟。


4. 知存科技:

知存科技创立于2017年10月23日,拥有业内领先的存算一体技术。知存拥有多种适合存内计算的非易失性存储器工艺研发经验,构建了WTIN Mapper编译器、工具链、存内计算电路设计、多核运算等完善的存算一体开发生态。知存的存算一体技术创新使用Flash存储器完成神经网络的储存和运算,解决AI的存储墙问题,提高运算效率,降低成本。WTM系列芯片用于低功耗AIoT应用,如可穿戴设备和智能终端设备。


5. 每刻深思:

每刻深思成立于2020年4月,总部位于北京海淀区,是一家旨在解决小型化、电池供电设备功耗和续航问题的芯片公司,主要致力于利用传统CMOS技术开发高能效、低能耗的智能感知芯片和模组,并提供完整的感知系统解决方案。公司的核心团队即来自于清华大学电子系,且由国际顶尖科研团队搭配“行业老兵”构成,均具有十余年芯片设计及研发经验,硕博士比例达80%。团队在高能效混合电路计算领域发表数十篇高水平文章,申请多项技术专利,在模拟信号计算领域具有深厚技术积累。


6. 九天睿芯:

九天睿芯是一家人工智能芯片研发商,专注于神经拟态感存算一体芯片研发,提供人工智能系统高效低耗运行的*新解决方案,广泛应用于AIoT等对低功耗延时需求强烈的领域,为用户提供面向声音端和视觉端的AI芯片。九天睿芯基于多年在全球领先的视觉领域感存算一体研究学习和实践积累,并和来自世界顶级图像传感器公司的研发合作和战略投资,已设计出可广泛应用于视觉领域的超高能效比(20Tops/W)基于SRAM的感存算一体架构芯片ADA20X。

 

...全文
32 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复

支持存内计算开发者社区的建设!

完美句号 存内计算大使 02-09
  • 打赏
  • 举报
回复

建设存内计算开发者社区

资料共144份,包括但不限于: 5G+电信: 5G 时代统一的边缘云网建设; 红帽开源软件助力电信行业 GPU 应用; 基于 5G 车路协同智慧公交解决方案; 中国电信 5G 边缘计算推动产业互联网发展; 中国移动九天人工智能平台 GPU 推理实践; 助力 5G 和边缘计算,深入了解 Cloud XR; DPU 加速 5G; GPU 加速 5G 基站的的 DICT 融合; GPU 加速开源 5G; GPU 加速中国电信 Spark 大数据处理; NVIDIA 加持的 5G 云部署; Rivermax- 带您轻松跨入超高清视频的 IP 时代; 高性能计算: 超算集群网络管理神器 — UFM Cyber-AI; 基于 CPU-GPU 异构平台的第一性原理密度泛函理论高性能计算; 基于 GPU 加速的矩阵离散元方法实现与应用; 脑研究之利器:基于 NVIDIA GPU 的全脑尺度直接可视化方法; 全新 NVIDIA A100 80GB GPU 加速超大规模 HPC 和 AI 应用; 新型超级计算中的高速互联技术; CUBE:高可扩展宇宙学 N 体问题模拟程序; GPU 加速 Paradigm 解决方案; HPC 应用性能分析和调优; RDMA 在分布式存储中的应用; 深度学习平台及应用: 用 NVIDIA Jarvis 来构建你的语音助理; 安全 AI 平台 GPU 实践和思考; 飞桨推理引擎性能优化; 高阶信息如何加速神经网络训练?; 机智深度学习训练平台及应用; 基于 GPU 的机器翻译推理性能优化; 基于 Tensor Core 的 CNN INT8 定点训练加速; 如何快速搭建全 GPU 加速的 AI 应用; 使用 Triton 优化深度学习推理的大规模部署; 腾讯“开悟”游戏 AI 平台在 TensorRT 上的最佳实践; 语音技术效率优化实践; 预训练时代的机器翻译; 智能钛机器学习平台计算优化实践; Apache MXNet 2.0:连接深度学习与传统机器学习; Eva 平台在深度学习训练和推理上的实践和优化经验; FastSpeech:高效语音合成的算法设计及优化; GPU 在向量搜索中的应用; Hammer:一体化的模型压缩和 NAS 引擎框架; Lightseq:GPU 高性能序列推理实践; MULTI-INSTANCE GPU(MIG)深度学习最佳用法示例; TurboTransformers:高效的 Transformer 线上推理系统; Whale:统一多种并行化策略的分布式深度学习框架; 推荐系统: 爱奇艺使用 GPU 加速 CTR 模型训练的实践; 多标签分类:汉明损失和子集精度真的相互冲突吗?; 高性能网络加速智能推荐系统; 将 HugeCTR Embedding 集成于 TensorFlow; 推荐系统推理性能优化在“双十一”中的应用; 性能提升 7 倍 + 的高性能 GPU 广告推荐加速系统的落地实现; GPU 加速的数据处理在推荐系统中的应用; Merlin : GPU 加速的推荐系统框架; Merlin HugeCTR :深入研究性能优化; Merlin NVTabular:基于 GPU 加速的推荐系统特征工程最佳实践; NVIDIA 助力构建安全和高效的推荐系统; PLE — 一种新的分层萃取多任务学习网络结构; Vearch 的 GPU 方案在海量向量检索系统上的应用创新; 智慧金融: 分布式人工智能与金融应用; GPU 数据库在不同行业中的应用; NVIDIA 网络打造超低时延证券解决方案; 智慧医疗和生命科学: 3D 医疗影像数据深度学习高效训练与推理架构; 基于眼表图像的 COVID-19 快捷风险筛查; 人工智能与药物研发; 随机对照试验 RCT 验证的消化内镜人工智能; 新型冠状病毒的全分子结构; 医学影像 + 人工智能的特点、技术与趋势; 医学真实世界人工智能研究与实践AI 技术在医疗健康领域的应用探索; GPU 赋能长读长基因测序; GPU 技术在放射治疗领域的科学研究; NVIDIA Clara Guardian 助力构建智慧医院; 自动驾驶: 乘用车自动驾驶产业生态与协作; 构建中国特色仿真环境; NVIDIA Drive Sim 帮助解决无人驾驶预期功能安全问题; NVIDIA DRIVEWORKS SDK 中强大的实时传感器数据采集和回放工具助力自动驾驶开发; 自主机器和边缘计算: 智能物流机器人 — 小蛮驴; 从云到边:边缘智能开启 AI时代 加速行业落地; 多尺度 Jetson AI 解决方案; 基于 AI 的工业缺陷检测与分类创新实践; 基于 Jetson 的点云加速及在自主机器的应用; 基于 Jetson 设备构建可信边缘计算

74

社区成员

发帖
与我相关
我的任务
社区描述
首个存内开发者社区,是整合产学研各界资源优势,搭建的学习与实践平台,提供存内架构学习,平台算法部署实践,存内计算线下训练以及AI时代大模型追踪,从理论到实践,供开发者体验未来第三极算力架构。
其他 企业社区
社区管理员
  • 存内计算开发者
  • Hundred++
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
  • 积分规则:

 

创作积分:

1,发布文章获取20积分

2,文章内容加精30积分

互动积分:

1,发布评论互动积分:2积分

2,点赞文章获取积分:1积分

 

  • 积分兑换:

100积分 兑换品牌赞助托特包 (每个ID限定5份)

600积分 兑换Cherry Mix3.0键盘 (每个ID限定4份)

1200积分 兑换Switch (每个ID限定2台)

试试用AI创作助手写篇文章吧