12回顾spark架构

zhchzh1000 2023-01-12 18:48:28

课时名称	课时知识点
12回顾spark架构

...全文

86 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

这是第12次上海 Spark Meetup的分享资料.本文回顾NUMA的技术要点以及它如何影响内存密集型Spark应用程序的性能。然后将介绍识别NUMA性能问题的工具和方法，以及作者团队为Spark任务调度添加NUMA感知方面的工作。

简介之前罗嗦一句：以下内容版本归原作者，本来本着分享精神我不应该要这一分的，但是我发现整理这些资源竟然整整花了我超过一个小时，而且原先地址的资源有些不能下载，我是千方百计找到所有的ppt，做个合集方便大家，节约大家的时间吧，以下正题！ 2015 中国大数据技术大会已经圆满落幕，本届大会，以更加国际化的视野，从政策法规、技术实践和产业应用等角度深入探讨大数据落地后的挑战，作为大数据产业界、科技界与政府部门密切合作的重要平台，吸引了数千名大数据技术爱好者到场参会。以下为合集列表: 1. 启明星辰公司副总裁潘柱廷：2016 年大数据技术发展趋势解读 2. Databricks公司联合创始人、Spark首席架构师辛湜：Spark发展：回顾2015，展望 2016 3. 京东云平台总架构师、系统技术部负责人刘海锋：从2014 到2016，大规模内存数据库演进之路 4. Hulu 资深研发主管梁宇明：Voidbox - Docker On YARN在Hulu的实践 5. Pivotal 研发总监姚延栋：开源大数据引擎：分布式Greenplum数据库内核分析 6. 阿里巴巴iDST语音组高级专家鄢志杰：Deep Learning助力客服小二：数据技术及机器学习在客服中心的应用 7. 小米金融技术主管方流：大数据在互联网金融中的应用 8. 新加坡管理大学信息系统学院教授朱飞达：大数据与金融创新：从研究到实战 9. 宜信大数据创新中心首席数据科学家项亮：大数据在信用风险管理中的应用 10. 南京大学计算机系PASA大数据实验室教授黄宜华：Octopus(大章鱼）：基于R语言的跨平台大数据机器学习与数据分析系统 11. 百度基础架构部高级架构师沈国龙：BML百度大规模机器学习云平台实践 12. 新浪微博算法技术总监姜贵彬：大数据驱动下的微博社会化推荐 13. FreeWheel技术副总裁李旸：FreeWheel基于大数据的新兴视频广告测量实践 14. 阿里巴巴数据安全部阿里数据安全小组总监郑斌：大数据下的数据安全 15. 数美公司联合创始人兼CTO梁堃：Sentry金融实时风控系统

这是一位大数据分析开发者的一本Spark入门学习用的总结

精品推荐，基于Hive + Spark离线数仓大数据实战项目，共23节课。供大家学习参考。 1、项目介绍 2、项目中 docker 使用 3、项目环境搭建 4、项目数仓分层 5、项目业务分析 6、sqoop 数据采集 7、python 数据采集 8、项目 ODS 层创建 9、DWD 层构建 10、DWS 层构建 11、项目回顾（一） 12、DWB 层构建 13、项目回顾（二） 14、ST 层构建 15、AirFlow 架构解析 16、AirFlow 任务调度 17、Spark 核心概念回顾 18、Prometheus 架构说明 19、监控插件安装 20、Grafana 使用 21、项目总结二

Spark相关知识PPT

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章