分布式深度学习训练（下集）HorovodEstimator使用Horovod和Spark MLlib

大模型与Agent智能体
新星创作者: 人工智能技术领域
领域专家: 大数据技术领域
2023-01-13 02:45:00

课时名称课时知识点
分布式深度学习训练（下集）HorovodEstimator使用Horovod和Spark MLlib分布式深度学习训练：HorovodEstimator使用Horovod和Spark MLlib进行分布式训练
...全文
152 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
Spark机器学习扩展指南
本书深入探讨如何利用Apache Spark及其生态系统（包括MLlib、TensorFlow和PyTorch）构建端到端的可扩展机器学习解决方案。作者Adi Polak结合多年实践经验，系统讲解了数据摄入、特征工程、模型训练与调优、分布式深度学习集成等关键环节。书中不仅涵盖传统机器学习流程，还详细介绍了通过Petastorm、Horovod等工具桥接Spark与深度学习框架的前沿技术。特别适合数据科学家和机器学习工程师阅读，帮助他们在大规模数据场景下实现高效建模与跨团队协作。通过丰富的代码示例和真实案例，本书为构建现代化、高性能的分布式ML系统提供了实用指南。
Spark与AI融合实战
本书深入探讨如何利用Apache Spark与主流AI框架（如TensorFlow和PyTorch）构建端到端的分布式机器学习系统。从数据预处理、特征工程到模型训练与部署，全面覆盖MLflow生命周期管理及Spark MLlib核心工具。特别解析Spark与深度学习集群的桥接技术，包括Petastorm、Horovod与Project Hydrogen，助力数据科学家高效协作，实现大规模模型训练与生产级落地。适合希望打通大数据与AI闭环的从业者阅读。
Learning Spark
Learning Spark英文版，整理版，纠正其中的错误。只有前五章
推荐系统源码
推荐系统源码
大型分布式网站架构设计与实践
《大型分布式网站架构设计与实践》主要介绍了大型分布式网站架构所涉及的一些技术细节，包括SOA架构的实现、互联网安全架构、构建分布式网站所依赖的基础设施、系统稳定性保障和海量数据分析等内容；深入地讲述了大型分布式网站架构设计的核心原理，并通过一些架构设计的典型案例，帮助读者了解大型分布式网站设计的一些常见场景及遇到的问题。, 作者结合自己在阿里巴巴及淘宝网的实际工作经历展开论述。《大型分布式网站架构设计与实践》既可供初学者学习，帮助读者了解大型分布式网站的架构，以及解决问题的思路和方法，也可供业界同行参考，给日常工作带来启发。
段智华的课程社区_NO_1

2

社区成员

206

社区内容

发帖
与我相关
我的任务
社区描述
聚焦学习Gavin大咖智能对话机器人课程内容：业务对话机器人Rasa 3.x Internals内幕详解及Rasa框架定制实战课程、业务对话机器人Rasa核心算法DIET及TED论文内幕详解、30小时解密10篇NLP领域最高质量的对话机器人经典论文及源码答疑课、Bayesian Transformer：架构、算法、数学、源码、NLP比赛、Advanced Python事件驱动及异步编程实战、“一种架构，统治一切”( 来自Gavin的Transformer硅谷杂谈系列)、Transformer 101 包含所有直播视频、代码及1年的答疑服务的课程。
社区管理员
  • 大模型与Agent智能体
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章