[转] 高性能内存和存储如何助力AI/ML的执行

momo0515 2019-05-20 03:26:13

你知道吗？
人工智能与推理有着非常深厚的渊源
例如
借助于AI技术的英国内政部大型重要查询系统
就是以世界上最有名的推理大师
“福尔摩斯”（HOLMES）来命名的
它被用于帮助警方执行重大案件犯罪的调查

而在数据科学家的日常研究中
人工智能与推理的关联则更为紧密——
人工智能工作流包括四个主要部分
提取、转换、训练和执行
执行这个阶段在 AI 领域的术语来中
就被称为“推理”

AI工作流程

AI的执行阶段（推理）

AI流程的执行阶段是整个工作流程的关键所在。在这个阶段，可以直观体现AI的诸多好处。在执行阶段，AI模型需要经过训练和改进，再进行部署用于决策（通常部署到目标边缘设备，例如摄像头和传感器等）。

很多情况下，在进行推理的同时，数据科学家还需要不断地评估其准确性。这种趋势或反馈分析通常不是在边缘设备或物联网设备上进行的，而是在使用设备捕获的数据和推理结果进行分析的过程中完成的。

执行阶段应用场景的范围非常广，近乎无限，既涵盖侧重实时分析和决策制定的使用案例，也涵盖需要实时决策和后实时分析场景的使用案例。具体的使用案例不同，对内存和存储的需求比例也会不同。下面，将通过两个实际的使用案例进行说明。

实时分析

这是一个大家可能都很熟悉的使用案例：用手机摄像头识别本地商户，或将手机摄像头用作尺寸测量设备（例如测量沙发长度）。这一推理过程完全在本地设备上进行，具体取决于所使用的手机特性。在这些示例中，手机完成推理后不需要保留相关信息。这种场景完全是实时的。智能手机在处理摄像头数据时，更依赖于内存而不是存储。这个使用案例中并不需要长期甚至中期存储，推理完成后就不再需要数据（图像）了。

在小型远程/移动设备上执行推理时，拥有能够在高性能和低功耗之间实现完美平衡的内存是关键所在。美光科技可以提供具有各种外形规格的低功耗 DRAM 解决方案，适用于移动设备、汽车和定制的边缘设备。

实时分析+推理后分析

在许多业务环境中，必须不断重新分析推理过程，以确保 AI 推理引擎符合预期，这是一个可以不断改进流程的反馈循环。在这类使用案例中，闪存的作用至关重要。执行分析的速度越快，改进实时推理的速度就越快。此外，需要的存储容量和存储位置取决于以下因素：是将数据短期保留在设备上，还是长期存储在设备外的大数据存储库中。最后，在决定要部署的存储解决方案时，数据保留时间也是需要考虑的一个因素。

在许多汽车领域的使用案例，数据可能需要存储在设备上以满足法规要求。自动驾驶汽车在进行大量实时推理的同时，还需要在特定的时间内保留来自各种传感器的所有数据（例如摄像头、发动机性能数据等），以便交通安全管理局利用这些数据来分析交通事故。实际上，到2020年，典型车辆预计将包含超过3亿行代码和超过1TB（太字节）的存储空间！

在其他情况下，设备上的存储容量只需要支持将数据传输到更大的大数据存储库，用于进行广泛的后处理分析。美光科技非常熟悉这个领域。美光科技利用晶圆分析过程（AI 推理）得出的数据来持续改进制造流程。在去年的 DataWorks峰会上，美光科技提到不仅存储对推理后分析至关重要，存储类型也会大大影响分析性能。在这种情况下，即使是在普通硬盘上为现有的传统大数据环境添加一个高性能NVMe 固态硬盘，也能大幅提高性能。

美光科技基础架构加速人工智能发展

美光科技提供适用于各种应用程序工作负载的固态硬盘，以及专为网络边缘存储和物联网存储设计的工业级 microSD 卡，并将持续对 AI/ML 工作负载中的存储和内存使用进行评估，促进人工智能加速发展。

...全文