社区首页
(3089)
我加入的社区
我管理的社区
官方推荐社区
76
其他社区
3089
请编写您的帖子内容
发帖
社区频道(3)
显示侧栏
卡片版式
主页
博文收录
Ada助手
最新发布
最新回复
标题
阅读量
内容评分
精选
OneFlow深度学习框架
企业官方账号
2021-11-15
加精
置顶
没有这个传奇工程师,就没有今天的Windows
“他是世界上最好的操作系统编写者。”
...全文
11262
评分
1
没有这个传奇工程师,就没有今天的Windows
“他是世界上最好的操作系统编写者。”
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2021-11-01
加精
置顶
OneFlow:从头开始重新设计分布式深度学习框架
#OneFlow:从头开始重新设计分布式深度学习框架# TensorFlow 和 PyTorch 等深度学习框架提供了一个高效的API接口,用于在单个设备上训练 DNN 模型或使用数据并行。即便如此,在分布式设备上训练大规模型模型时,原有深度学习框架不够灵活、高效,这需要比数据并行更复杂的并行性。这些框架开发了插件来强化这些框架在模型或流水并行的能力,但这使得分布式深度学习的使用和实现进一步复杂化。 为此,一流科技研发出具有各种并行范式的OneFlow#分布式深度学习框架# ,基于 SBP(sp
...全文
950
评分
回复
OneFlow:从头开始重新设计分布式深度学习框架
#OneFlow:从头开始重新设计分布式深度学习框架# TensorFlow 和 PyTorch 等深度学习框架提供了一个高效的API接口,用于在单个设备上训练 DNN 模型或使用数据并行。即便如此,在分布式设备上训练大规模型模型时,原有深度学习框架不够灵活、高效,这需要比数据并行更复杂的并行性。这些框架开发了插件来强化这些框架在模型或流水并行的能力,但这使得分布式深度学习的使用和实现进一步复杂化。 为此,一流科技研发出具有各种并行范式的OneFlow#分布式深度学习框架# ,基于 SBP(sp
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-20
深度学习概述:从基础概念、计算步骤到调优方法|赠书
自2012年深度学习崛起以来,这项技术已被应用到计算机视觉、NLP、推荐等各领域,推动了技术发展,创造了巨大的商业价值。同时,深度学习的算法和网络结构在这期间也在不断发展,但不管怎样,它们都遵循深度学习的基础理论。温故而知新,如今回顾深度学习的基本原理,依然对我们理解它从何发展而来,为什么能发挥作用至关重要,也对我们在下个十年推进深度学习有指导性意义。因此,本文将重点回顾...
...全文
632
评分
1
深度学习概述:从基础概念、计算步骤到调优方法|赠书
自2012年深度学习崛起以来,这项技术已被应用到计算机视觉、NLP、推荐等各领域,推动了技术发展,创造了巨大的商业价值。同时,深度学习的算法和网络结构在这期间也在不断发展,但不管怎样,它们都遵循深度学习的基础理论。温故而知新,如今回顾深度学习的基本原理,依然对我们理解它从何发展而来,为什么能发挥作用至关重要,也对我们在下个十年推进深度学习有指导性意义。因此,本文将重点回顾...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-20
训练千亿参数大模型,离不开四种GPU并行策略
AI领域的许多最新进展都围绕大规模神经网络展开,但训练大规模神经网络是一项艰巨的工程和研究挑战,需要协调GPU集群来执行单个同步计算。随着集群数和模型规模的增长,机器学习从业者开发了多项技术,在多个GPU上进行并行模型训练。乍一看,这些并行技术令人生畏,但只需对计算结构进行一些假设,这些技术就会变得清晰......
...全文
654
评分
回复
训练千亿参数大模型,离不开四种GPU并行策略
AI领域的许多最新进展都围绕大规模神经网络展开,但训练大规模神经网络是一项艰巨的工程和研究挑战,需要协调GPU集群来执行单个同步计算。随着集群数和模型规模的增长,机器学习从业者开发了多项技术,在多个GPU上进行并行模型训练。乍一看,这些并行技术令人生畏,但只需对计算结构进行一些假设,这些技术就会变得清晰......
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-20
一个算子在深度学习框架中的旅程
算子即Operator,这里简称op。op是深度学习的基础操作,任意深度学习框架中都包含了数百个op,这些op用于各种类型的数值、tensor运算。在深度学习中,通过nn.Module这样搭积木的方式搭建网络,而op就是更基础的,用于制作积木的配方和原材料。...
...全文
641
评分
回复
一个算子在深度学习框架中的旅程
算子即Operator,这里简称op。op是深度学习的基础操作,任意深度学习框架中都包含了数百个op,这些op用于各种类型的数值、tensor运算。在深度学习中,通过nn.Module这样搭积木的方式搭建网络,而op就是更基础的,用于制作积木的配方和原材料。...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-20
关于并发和并行,Go和Erlang之父都弄错了?
并行和并发需要的是不同的工具,而对单个工具来说,并行和并发不可兼得。
...全文
622
评分
回复
关于并发和并行,Go和Erlang之父都弄错了?
并行和并发需要的是不同的工具,而对单个工具来说,并行和并发不可兼得。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-20
李飞飞:我更像物理学界的科学家,而不是工程师|深度学习崛起十年
新一轮深度学习崛起的引爆点是AlexNet,而它的爆发却离不开“燃料”ImageNet数据集。斯坦福大学教授李飞飞正是ImageNet的发起人和推动者,在她看来,ImageNet就是重塑计算机视觉或机器学习的“北极星”。......
...全文
628
评分
回复
李飞飞:我更像物理学界的科学家,而不是工程师|深度学习崛起十年
新一轮深度学习崛起的引爆点是AlexNet,而它的爆发却离不开“燃料”ImageNet数据集。斯坦福大学教授李飞飞正是ImageNet的发起人和推动者,在她看来,ImageNet就是重塑计算机视觉或机器学习的“北极星”。......
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
LLVM之父Chris Lattner:模块化设计决定AI前途,不服来辩
缺乏模块化的单体系统就像浑然一体的金字塔,失去了演化空间,抑制了创新速度。当前,AI领域正面临系统和工具链的互不兼容和碎片化,对这种混杂局面,编译器大牛Chris Lattner看不下去了。2022年1月,他宣布下海创业,同Tim Davis共同成立了Modular AI, 目标是重建全球ML基础设施,包括编译器、运行时,异构计算、边缘到数据中心并重,并专注于可用性,提升...
...全文
1265
评分
回复
LLVM之父Chris Lattner:模块化设计决定AI前途,不服来辩
缺乏模块化的单体系统就像浑然一体的金字塔,失去了演化空间,抑制了创新速度。当前,AI领域正面临系统和工具链的互不兼容和碎片化,对这种混杂局面,编译器大牛Chris Lattner看不下去了。2022年1月,他宣布下海创业,同Tim Davis共同成立了Modular AI, 目标是重建全球ML基础设施,包括编译器、运行时,异构计算、边缘到数据中心并重,并专注于可用性,提升...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
手把手推导分布式矩阵乘的最优并行策略
作者|郭冉、李一鹏、柳俊丞、袁进辉常用深度学习框架的自动并行机制还不够完善,还需要用户根据经验来配置并行方式,这给开发者带来了不小的智力负担。因此,实现自动最优并行就成为一个有趣的课题。矩阵乘是深度学习最常用的底层计算原语,譬如卷积算子,注意力机制都是通过矩阵乘来实现的,所以大规模神经网络的并行实现大多数时候也是在处理分布式矩阵乘。本文就以如何最优地实现分布式矩阵乘为例来...
...全文
1286
评分
回复
手把手推导分布式矩阵乘的最优并行策略
作者|郭冉、李一鹏、柳俊丞、袁进辉常用深度学习框架的自动并行机制还不够完善,还需要用户根据经验来配置并行方式,这给开发者带来了不小的智力负担。因此,实现自动最优并行就成为一个有趣的课题。矩阵乘是深度学习最常用的底层计算原语,譬如卷积算子,注意力机制都是通过矩阵乘来实现的,所以大规模神经网络的并行实现大多数时候也是在处理分布式矩阵乘。本文就以如何最优地实现分布式矩阵乘为例来...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
拯救工程师,远程开发C++的四大秘笈|视频教程
由于新冠疫情的影响,越来越多的国内公司开始支持远程办公(https://github.com/LinuxSuRen/remote-jobs-in-china),OneFlow也是如此,几乎所有的实习生与超过三分之一的全职研发人员都是远程办公。作为一名技术人员,尤其是一名C++工程师,远程办公需要操心的首要问题可能就是“如何搭好用的远程开发环境”,具体包括本地和服务器的操...
...全文
1270
评分
回复
拯救工程师,远程开发C++的四大秘笈|视频教程
由于新冠疫情的影响,越来越多的国内公司开始支持远程办公(https://github.com/LinuxSuRen/remote-jobs-in-china),OneFlow也是如此,几乎所有的实习生与超过三分之一的全职研发人员都是远程办公。作为一名技术人员,尤其是一名C++工程师,远程办公需要操心的首要问题可能就是“如何搭好用的远程开发环境”,具体包括本地和服务器的操...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
OneFlow最新版本登陆矩池云,快来体验吧
在人工智能教学、科研和学习的过程中,很多研发人员会选择使用云端算力平台。一方面,使用云端平台的成本远远小于自己配置机器,获得的性能却十分可观;另一方面,云端算力平台也免去了自行部署设置环境的繁琐,让研究学习更高效。现在,OneFlow 深度学习框架携最新版本 v0.7.0 正式登陆 GPU 云服务商矩池云 Matpool,科研人员只需要在训练时选择 OneFlow 框架,...
...全文
1272
评分
回复
OneFlow最新版本登陆矩池云,快来体验吧
在人工智能教学、科研和学习的过程中,很多研发人员会选择使用云端算力平台。一方面,使用云端平台的成本远远小于自己配置机器,获得的性能却十分可观;另一方面,云端算力平台也免去了自行部署设置环境的繁琐,让研究学习更高效。现在,OneFlow 深度学习框架携最新版本 v0.7.0 正式登陆 GPU 云服务商矩池云 Matpool,科研人员只需要在训练时选择 OneFlow 框架,...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
OneFlow最新版本登陆矩池云,快来体验吧
在人工智能教学、科研和学习的过程中,很多研发人员会选择使用云端算力平台。一方面,使用云端平台的成本远远小于自己配置机器,获得的性能却十分可观;另一方面,云端算力平台也免去了自行部署设置环境的繁琐,让研究学习更高效。现在,OneFlow 深度学习框架携最新版本 v0.7.0 正式登陆 GPU 云服务商矩池云 Matpool,科研人员只需要在训练时选择 OneFlow 框架,...
...全文
1279
评分
回复
OneFlow最新版本登陆矩池云,快来体验吧
在人工智能教学、科研和学习的过程中,很多研发人员会选择使用云端算力平台。一方面,使用云端平台的成本远远小于自己配置机器,获得的性能却十分可观;另一方面,云端算力平台也免去了自行部署设置环境的繁琐,让研究学习更高效。现在,OneFlow 深度学习框架携最新版本 v0.7.0 正式登陆 GPU 云服务商矩池云 Matpool,科研人员只需要在训练时选择 OneFlow 框架,...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
刘馨蔓:“她是行走的发光体”|OneFlow U
本科毕业于阿尔伯塔大学计算机科学专业,现在也是多伦多大学准研究生。她最引以为傲的小爱好是,2020年底自学了Ukelele弹唱,其次是剪辑Vlog。本科期间,她获得过Dean’s Honor Roll、Amdahl Academic Achievement等各类奖学金,并曾在华为、蚂蚁实习。如今,尽管在OneFlow实习时间还不长,就得到不少同事赞赏,其mentor谢暄评价称,“她属于到哪儿都能发光的人,很棒的。”
...全文
1271
评分
回复
刘馨蔓:“她是行走的发光体”|OneFlow U
本科毕业于阿尔伯塔大学计算机科学专业,现在也是多伦多大学准研究生。她最引以为傲的小爱好是,2020年底自学了Ukelele弹唱,其次是剪辑Vlog。本科期间,她获得过Dean’s Honor Roll、Amdahl Academic Achievement等各类奖学金,并曾在华为、蚂蚁实习。如今,尽管在OneFlow实习时间还不长,就得到不少同事赞赏,其mentor谢暄评价称,“她属于到哪儿都能发光的人,很棒的。”
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
深度学习六十年简史
从感知机到Transformer。
...全文
1269
评分
回复
深度学习六十年简史
从感知机到Transformer。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
最优的纯文本模型?GPT-4蓄势待发
GPT-3 的强大性能让人们对 GPT-4 的期望颇高。然而关于 GPT-4 的公开信息甚少,Altman 在去年的一次 Q&A 中就 OpenAI 对 GPT-4 的想法给出了一些提示。他明确表示,GPT-4 不会有 100T 参数。
...全文
1257
评分
回复
最优的纯文本模型?GPT-4蓄势待发
GPT-3 的强大性能让人们对 GPT-4 的期望颇高。然而关于 GPT-4 的公开信息甚少,Altman 在去年的一次 Q&A 中就 OpenAI 对 GPT-4 的想法给出了一些提示。他明确表示,GPT-4 不会有 100T 参数。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
CUDA优化之PReLU性能调优
经过优化PReLU的OneFlow,在大部分情况下均有比PyTorch接近2倍的领先优势。
...全文
1284
评分
回复
CUDA优化之PReLU性能调优
经过优化PReLU的OneFlow,在大部分情况下均有比PyTorch接近2倍的领先优势。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
手把手推导Back Propagation
BP(Back Propagation)是深度学习神经网络的理论核心,本文通过两个例子展示手动推导BP的过程。
...全文
1256
评分
回复
手把手推导Back Propagation
BP(Back Propagation)是深度学习神经网络的理论核心,本文通过两个例子展示手动推导BP的过程。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-06-06
Autograd解析|OneFlow学习笔记
本文以OneFlow的代码为例,梳理Autograd模块的实现细节。
...全文
1259
评分
回复
Autograd解析|OneFlow学习笔记
本文以OneFlow的代码为例,梳理Autograd模块的实现细节。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-05-14
Hugging Face创始人亲述:一个GitHub史上增长最快的AI项目
无心插柳柳成荫,运气,有时就是这么邪门儿。
...全文
2299
评分
回复
Hugging Face创始人亲述:一个GitHub史上增长最快的AI项目
无心插柳柳成荫,运气,有时就是这么邪门儿。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-05-12
Hugging Face创始人亲述:一个GitHub史上增长最快的AI项目
来源|Gradient Dissent翻译|贾川、胡燕君Hugging Face,这家以emoji“抱抱脸”命名的开源创业公司,以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前,Hugging Face模型库在Github上获得了超过62,000个Star,14,000次forks,代码贡献者超1200人,每月被安装超100万次。就在5月10日,Hug...
...全文
2450
评分
回复
Hugging Face创始人亲述:一个GitHub史上增长最快的AI项目
来源|Gradient Dissent翻译|贾川、胡燕君Hugging Face,这家以emoji“抱抱脸”命名的开源创业公司,以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前,Hugging Face模型库在Github上获得了超过62,000个Star,14,000次forks,代码贡献者超1200人,每月被安装超100万次。就在5月10日,Hug...
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-05-12
兼容PyTorch,25倍性能加速,OneFlow“超速”了
要想炼丹爽得飞起,就要选择一个顺手的炉子。
...全文
2368
评分
回复
兼容PyTorch,25倍性能加速,OneFlow“超速”了
要想炼丹爽得飞起,就要选择一个顺手的炉子。
复制链接
扫一扫
分享
OneFlow深度学习框架
企业官方账号
2022-05-12
兼容PyTorch,25倍性能加速,OneFlow“超速”了
要想炼丹爽得飞起,就要选择一个顺手的炉子。
...全文
2401
评分
回复
兼容PyTorch,25倍性能加速,OneFlow“超速”了
要想炼丹爽得飞起,就要选择一个顺手的炉子。
复制链接
扫一扫
分享
为您搜索到以下结果:
OneFlow深度学习框架
219
社区成员
262
社区内容
发帖
与我相关
我的任务
OneFlow深度学习框架
不止于成为世界上最快的开源深度学习框架
复制链接
扫一扫
分享
社区描述
不止于成为世界上最快的开源深度学习框架
学习
其他
企业社区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告