“他是世界上最好的操作系统编写者。”

#OneFlow：从头开始重新设计分布式深度学习框架# TensorFlow 和 PyTorch 等深度学习框架提供了一个高效的API接口，用于在单个设备上训练 DNN 模型或使用数据并行。即便如此，在分布式设备上训练大规模型模型时，原有深度学习框架不够灵活、高效，这需要比数据并行更复杂的并行性。这些框架开发了插件来强化这些框架在模型或流水并行的能力，但这使得分布式深度学习的使用和实现进一步复杂化。 为此，一流科技研发出具有各种并行范式的OneFlow#分布式深度学习框架# ，基于 SBP（sp

自2012年深度学习崛起以来，这项技术已被应用到计算机视觉、NLP、推荐等各领域，推动了技术发展，创造了巨大的商业价值。同时，深度学习的算法和网络结构在这期间也在不断发展，但不管怎样，它们都遵循深度学习的基础理论。温故而知新，如今回顾深度学习的基本原理，依然对我们理解它从何发展而来，为什么能发挥作用至关重要，也对我们在下个十年推进深度学习有指导性意义。因此，本文将重点回顾...

AI领域的许多最新进展都围绕大规模神经网络展开，但训练大规模神经网络是一项艰巨的工程和研究挑战，需要协调GPU集群来执行单个同步计算。随着集群数和模型规模的增长，机器学习从业者开发了多项技术，在多个GPU上进行并行模型训练。乍一看，这些并行技术令人生畏，但只需对计算结构进行一些假设，这些技术就会变得清晰......

算子即Operator，这里简称op。op是深度学习的基础操作，任意深度学习框架中都包含了数百个op，这些op用于各种类型的数值、tensor运算。在深度学习中，通过nn.Module这样搭积木的方式搭建网络，而op就是更基础的，用于制作积木的配方和原材料。...

并行和并发需要的是不同的工具，而对单个工具来说，并行和并发不可兼得。

新一轮深度学习崛起的引爆点是AlexNet，而它的爆发却离不开“燃料”ImageNet数据集。斯坦福大学教授李飞飞正是ImageNet的发起人和推动者，在她看来，ImageNet就是重塑计算机视觉或机器学习的“北极星”。......

缺乏模块化的单体系统就像浑然一体的金字塔，失去了演化空间，抑制了创新速度。当前，AI领域正面临系统和工具链的互不兼容和碎片化，对这种混杂局面，编译器大牛Chris Lattner看不下去了。2022年1月，他宣布下海创业，同Tim Davis共同成立了Modular AI， 目标是重建全球ML基础设施，包括编译器、运行时，异构计算、边缘到数据中心并重，并专注于可用性，提升...

作者｜郭冉、李一鹏、柳俊丞、袁进辉常用深度学习框架的自动并行机制还不够完善，还需要用户根据经验来配置并行方式，这给开发者带来了不小的智力负担。因此，实现自动最优并行就成为一个有趣的课题。矩阵乘是深度学习最常用的底层计算原语，譬如卷积算子，注意力机制都是通过矩阵乘来实现的，所以大规模神经网络的并行实现大多数时候也是在处理分布式矩阵乘。本文就以如何最优地实现分布式矩阵乘为例来...

由于新冠疫情的影响，越来越多的国内公司开始支持远程办公（https://github.com/LinuxSuRen/remote-jobs-in-china），OneFlow也是如此，几乎所有的实习生与超过三分之一的全职研发人员都是远程办公。作为一名技术人员，尤其是一名C++工程师，远程办公需要操心的首要问题可能就是“如何搭好用的远程开发环境”，具体包括本地和服务器的操...

在人工智能教学、科研和学习的过程中，很多研发人员会选择使用云端算力平台。一方面，使用云端平台的成本远远小于自己配置机器，获得的性能却十分可观；另一方面，云端算力平台也免去了自行部署设置环境的繁琐，让研究学习更高效。现在，OneFlow 深度学习框架携最新版本 v0.7.0 正式登陆 GPU 云服务商矩池云 Matpool，科研人员只需要在训练时选择 OneFlow 框架，...

在人工智能教学、科研和学习的过程中，很多研发人员会选择使用云端算力平台。一方面，使用云端平台的成本远远小于自己配置机器，获得的性能却十分可观；另一方面，云端算力平台也免去了自行部署设置环境的繁琐，让研究学习更高效。现在，OneFlow 深度学习框架携最新版本 v0.7.0 正式登陆 GPU 云服务商矩池云 Matpool，科研人员只需要在训练时选择 OneFlow 框架，...

本科毕业于阿尔伯塔大学计算机科学专业，现在也是多伦多大学准研究生。她最引以为傲的小爱好是，2020年底自学了Ukelele弹唱，其次是剪辑Vlog。本科期间，她获得过Dean’s Honor Roll、Amdahl Academic Achievement等各类奖学金，并曾在华为、蚂蚁实习。如今，尽管在OneFlow实习时间还不长，就得到不少同事赞赏，其mentor谢暄评价称，“她属于到哪儿都能发光的人，很棒的。”

从感知机到Transformer。

GPT-3 的强大性能让人们对 GPT-4 的期望颇高。然而关于 GPT-4 的公开信息甚少，Altman 在去年的一次 Q&A 中就 OpenAI 对 GPT-4 的想法给出了一些提示。他明确表示，GPT-4 不会有 100T 参数。

经过优化PReLU的OneFlow，在大部分情况下均有比PyTorch接近2倍的领先优势。

BP（Back Propagation）是深度学习神经网络的理论核心，本文通过两个例子展示手动推导BP的过程。

本文以OneFlow的代码为例，梳理Autograd模块的实现细节。

无心插柳柳成荫，运气，有时就是这么邪门儿。

来源｜Gradient Dissent翻译｜贾川、胡燕君Hugging Face，这家以emoji“抱抱脸”命名的开源创业公司，以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前，Hugging Face模型库在Github上获得了超过62,000个Star，14,000次forks，代码贡献者超1200人，每月被安装超100万次。就在5月10日，Hug...

要想炼丹爽得飞起，就要选择一个顺手的炉子。

要想炼丹爽得飞起，就要选择一个顺手的炉子。