【直播来袭】多模态时代异构芯片的架构设计与探索，八位堂黑神话联名手柄等你拿

存内计算开发者 2024-08-28 16:54:11

存算系列直播活动

主题：多模态时代异构芯片的架构设计与探索

时间：8/30 10：00-11：30

参与直播并发布博文至社区，可获得【八位堂黑神话联名手柄】

直播预约链接直达：https://www.eet-china.com/webinars/Witmem_20240830.html?source=poster

...全文

151 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

一键难忘存内计算布道师 09-08

打赏
举报

知存科技 | 多模态时代下存算芯片的架构设计与应用【在线研讨会】
https://shangjinzhu.blog.csdn.net/article/details/142032303

上周，我和一位从业三十余年的工程师聊到ChatGPT。作为一名人工智能领域研究者，我也一直对**对话式大型语言模型**非常感兴趣，在讨论中，我向他解释这个技术时，他瞬间被其中惊人之处所吸引:raised_hands:，我们深入探讨了ChatGPT的关键技术，他对我所说的内容产生了浓厚的兴趣，我们开始交流并分享了各自的经验。我发现，与这位资深工程师的讨论不仅加深了我的理解，也让我更加了解了这项技术的前沿发展:seedling:。后续我也下面我将分享一些我在与工程师的讨论中和自己学习中所了解的ChatG

理想中的多模态大模型具备跨模态的泛化理解和生成能力，其更符合人类感知世界的方式，其或能进一步打开AI能力的上限。产业界也在积极探索多模态大模型可行的技术路径，在多模态领域“复刻”大语言模型的成功。但目前多模态大模型的技术栈也尚未收敛，多模态学习和跨模态对齐仍为技术难点，未来产业发展仍有无限可能。在大模型兴起之后，产业也试图在图像、视频、音频等更多模态领域复现“Scaling Law”的成功，继续实现大模型的“智能涌现”。• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

存内计算技术的核心思想是将计算操作直接嵌入到存储单元内部，从而减少传统冯诺依曼架构中计算和存储单元之间的数据传输。这一技术通过在存储器中嵌入计算功能，有效地缩短了数据传输路径，从而提高了计算效率和系统性能。传统的计算架构中，CPU和内存之间的频繁数据传输导致了显著的带宽瓶颈和功耗问题。存内计算技术通过将计算逻辑集成到存储单元中，能够显著降低数据传输的需求，从而有效减少功耗和带宽消耗。知存科技的在线研讨会探讨了存内计算技术在多模态大模型时代的应用及其架构设计。

我们对现在的多模态按照架构模式分为四类：A、B、C、D。A和B类型在模型内部层中深度融合多模态输入，可以实现细粒度控制模态信息流动，但需要大量训练数据和计算资源；C和D类型在输入层融合多模态输入，C类型具有模块化设计，可以容易地添加更多模态。D类型使用标记化，可以方便地训练不同模态，但需要训练通用标记器。

关于多模态网络的一些基础概念

存内计算开发者社区

3,042

社区成员

314

社区内容

发帖

与我相关

我的任务

其他企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

奖品兑换上新：

100积分 - 品牌赞助托特包（单个账号限兑换5个）

200积分-罗技M240无线鼠标（单个账号限兑换3个）

400积分-马歇尔入耳式耳机（单个账号限兑换2个）

600积分-Cherry MIX 3.0键盘（单个账号限兑换2个）

800积分- 雷切Pro游戏手柄（单个账号限兑换1个）

1000积分-小米/Redmi显示器A27 IPS版27英寸100Hz（单个账号限兑换1个）

1200积分-Switch 积分（单个账号限兑换1个）

积分规则：

创作积分：

1，发布文章获取20积分

2，文章内容加精30积分

互动积分：

1，发布评论互动积分：2积分

2，点赞文章获取积分：1积分

活动积分：

活动参与积分以每场活动规则为准

试试用AI创作助手写篇文章吧

+ 用AI写文章

【直播来袭】多模态时代 异构芯片的架构设计与探索，八位堂黑神话联名手柄等你拿

存算系列直播活动

主题：多模态时代 异构芯片的架构设计与探索

时间：8/30 10：00-11：30

参与直播并发布博文至社区，可获得 【八位堂 黑神话联名手柄】

直播预约链接直达：https://www.eet-china.com/webinars/Witmem_20240830.html?source=poster

【直播来袭】多模态时代异构芯片的架构设计与探索，八位堂黑神话联名手柄等你拿

主题：多模态时代异构芯片的架构设计与探索

参与直播并发布博文至社区，可获得【八位堂黑神话联名手柄】