谁知道往S3上传数据，刚开始200/s 多条为啥会越来越慢?

qqbabycc 2015-09-28 03:47:11

谁知道往S3上传数据，刚开始200/s 多条为啥会越来越慢?

...全文

1175 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在DG业务的快速增长期以及后续多条业务线接入期，DG在移动广告系统的访问量经常呈爆发式增长，然而原先AWS方案和平台在Athena读取S3数据遇到数据读取带宽的极大瓶颈，数据分析的时间变得越来越长，阿里云DLA联合OSS团队等进行了极大的优化和改造，同时，DLA数据库分析在计算引擎上（与TPC-DS打榜世界第一的AnalyticDB共享计算引擎）比Presto原生计算引擎的能力提升数十倍性能，也极大的为DG提升了分析性能。数据流入是整个数据湖构建的起始，包括元数据的流入和业务数据流入两个部分。

数据库, 数据仓库, 数据集市，数据湖，数据中台转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：数据仓库和数据集市的区别作者：修鹏李出处：CSDN 大数据：数据仓库和数据库的区别作者：南宫蓉出处：简书第一篇：数据仓库概述第二篇：数据库关系建模作者：穆晨出处：CNBLOS 数据仓库、数据湖、数据集市、和数据中台的故事作者：Murkey学习之旅出处：csdn 数据中台和数仓的关系

4 万字全面掌握数据库、数据仓库、数据集市、数据湖、数据中台本文对这些名词术语及内涵进行系统的解析，便于读者对数据平台相关的概念有全面的认识。（给程序员的那些事加星标）来源：修鹏李如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能

接口层为 WebHDFS，比较特别的是在 Azure object Storage 实现了 HDFS 的接口，综上，从传统的 hadoop 架构往 lambda 架构，从 lambda 架构往 Kappa 架构的演。论是 SQL 还是 Spark 引擎，都和 Meta data catalog 深度集成，能方便的。stage，每个 stage 都可以有一个或者多个 Task 组成，Task 是可以并发执行的，提供了 SageMaker 服务，SageMaker 可以读取 S3 中的训练数据，并将训练好的。

记录个人博客项目从0到1过程中遇到的所有困难及其解决方案、因为是遇到一个困难就记录一个困难，所以当你也写类似项目时，很有可能从中找到答案、文章集百家所长、参考他人博客的解决方案、有的会有原文链接、有的可能会漏掉。望海涵

409

社区成员

536

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章