12回顾spark架构

zhchzh1000 2023-01-12 18:48:28

课时名称	课时知识点
12回顾spark架构

...全文

132 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

这是第12次上海 Spark Meetup的分享资料.本文回顾NUMA的技术要点以及它如何影响内存密集型Spark应用程序的性能。然后将介绍识别NUMA性能问题的工具和方法，以及作者团队为Spark任务调度添加NUMA感知方面的工作。

简介之前罗嗦一句：以下内容版本归原作者，本来本着分享精神我不应该要这一分的，但是我发现整理这些资源竟然整整花了我超过一个小时，而且原先地址的资源有些不能下载，我是千方百计找到所有的ppt，做个合集方便大家，节约大家的时间吧，以下正题！ 2015 中国大数据技术大会已经圆满落幕，本届大会，以更加国际化的视野，从政策法规、技术实践和产业应用等角度深入探讨大数据落地后的挑战，作为大数据产业界、科技界与政府部门密切合作的重要平台，吸引了数千名大数据技术爱好者到场参会。以下为合集列表: 1. 启明星辰公司副总裁潘柱廷：2016 年大数据技术发展趋势解读 2. Databricks公司联合创始人、Spark首席架构师辛湜：Spark发展：回顾2015，展望 2016 3. 京东云平台总架构师、系统技术部负责人刘海锋：从2014 到2016，大规模内存数据库演进之路 4. Hulu 资深研发主管梁宇明：Voidbox - Docker On YARN在Hulu的实践 5. Pivotal 研发总监姚延栋：开源大数据引擎：分布式Greenplum数据库内核分析 6. 阿里巴巴iDST语音组高级专家鄢志杰：Deep Learning助力客服小二：数据技术及机器学习在客服中心的应用 7. 小米金融技术主管方流：大数据在互联网金融中的应用 8. 新加坡管理大学信息系统学院教授朱飞达：大数据与金融创新：从研究到实战 9. 宜信大数据创新中心首席数据科学家项亮：大数据在信用风险管理中的应用 10. 南京大学计算机系PASA大数据实验室教授黄宜华：Octopus(大章鱼）：基于R语言的跨平台大数据机器学习与数据分析系统 11. 百度基础架构部高级架构师沈国龙：BML百度大规模机器学习云平台实践 12. 新浪微博算法技术总监姜贵彬：大数据驱动下的微博社会化推荐 13. FreeWheel技术副总裁李旸：FreeWheel基于大数据的新兴视频广告测量实践 14. 阿里巴巴数据安全部阿里数据安全小组总监郑斌：大数据下的数据安全 15. 数美公司联合创始人兼CTO梁堃：Sentry金融实时风控系统

精品推荐，基于Hive + Spark离线数仓大数据实战项目，共23节课。供大家学习参考。 1、项目介绍 2、项目中 docker 使用 3、项目环境搭建 4、项目数仓分层 5、项目业务分析 6、sqoop 数据采集 7、python 数据采集 8、项目 ODS 层创建 9、DWD 层构建 10、DWS 层构建 11、项目回顾（一） 12、DWB 层构建 13、项目回顾（二） 14、ST 层构建 15、AirFlow 架构解析 16、AirFlow 任务调度 17、Spark 核心概念回顾 18、Prometheus 架构说明 19、监控插件安装 20、Grafana 使用 21、项目总结二

大数据技术分享 Spark技术讲座 99个问题，但Databricks和Spark不是一个共26页.pdf

目录： 01 IE课程介绍 02 数据挖掘介绍 03 IE第一天回顾 04 Python基础 05 Python基础语法01 06 Python网络 01 07 Python网络 02 08 python数据可视化 09 数学基础01 10 数学基础02 11 决策树算法 12 第三周回顾 13 数据预处理01 14 数据预处理02 15 数据预处理03 16 数据预处理择回顾 17 特征选择 18 特征降维01 19 特征降维02 20 有监督学习01 21 有监督学习02 22 有监督学习回顾 23 无监督学习 24 第七章模型评估与优化 25 有监督无监督回顾 26 第八章数据挖掘综合应用 27 Spark Milb 28 房屋销售信用卡预测 29 类型预测 30 产品预测 31 华为机器学习服务MLS 32 大数据架构与数据治理 33 IE课程回归01 34 大数据挖掘

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章