【CSDN在线培训Q/A】Amazon Kinesis实时数据分析最佳实践分享
为了帮助大家更好的复习本次培训的相关内容,了解如何在AWS这样的云平台进行数据分析。CSDN整理了本次培训最后的QA,如下:
Q1.目前Strom的社区进展缓慢,很多公司更倾向Spark内存计算的框架,AWS对spark有什么考虑的方案?
答: Kinesis是针对Storm的实时分析,Spark内存计算的一个框架,Storm和Spark还是有点不一样的。做实时数据流的处理,如果你想用开源的话当然用Storm;如果你不想自己去做底层的运维或搭建一个类似于Storm这样一个框架的话,那就用kinesis;如果你想用Spark内存计算框架,Spark是用来取代hadoopMapReduce的一个框架。对于AWS而言,EMR是支持Spark的,所以大家如果对Spark感兴趣,你可以看AWS EMR的解决方案。因为spark很多实验和架构都是在AWS云上做开发的,所以我们对Spark的支持其实挺好的。
Q2.按照您的说法,那么EC2就是采集数据?但是我在Web Service上看到,说EC2是计算,麻烦你解答一下,谢谢
答:刚刚在前面,我说EC2是用来采集数据,那这样为什么还要用Kinesis?其实这两个是有一样的地方。一般传统下如果没有Kinesis这样包装好的服务来讲,就需要自己找服务器、搭建服务器,EC2就是一个计算资源,就是一个服务器,你就得自己买这样一个服务器,去搭建很多的节点做数据采集,你在上面可能会部署工具做数据采集,你可以用EC2,用开源社区的一些工具来做一些搭建,这当然没有问题,但是,如果你想要省掉自己搭建、自己运维下面的一些平台,Kinesis是一个更好的解决方案。
Q3.为什么读的速度比写的速度快,但记录数却少这么多?
答:吞吐量为什么有不同的差异性,我要分两个方面来解释:一,每秒可以处理1M的吞吐量,每秒写入的记录是一千个,但是读数据的话,可以看到总量是2M/S的吞吐量,大家觉得奇怪为什么1秒只支持50的吞吐量,其实一般来讲,写的话记录是很小的一些KB,可能是我的一个记录是2kb或3kb,这个数据量其实是很大,需要写入每秒的tbs要很快,我读出来的话不需要一次读出很多,但是读出的总量汇集到很大的量再一次读出来作为一个分期,不需要那么大的读的tbs,这就是读的和写的一个差别。
Q4. 我想汇集一段时间的数据形成一个时间窗口,在Kinesis里面怎么做?我在内存里面缓存的数据Kinesis能够保证不丢失吗?
答:刚刚有提到,前面的数据进来后能在数据里面形成一个时间窗口,那过一段时间数据累计到一个量,再读出来。通常正确的做法是,你通常会等到一定的时间窗口,数据量汇总到一定程度,你才会把它读出来做处理。所以简单来讲你会把kinesis作为一个缓冲,一个buffer。我可以保证,在这个buffer中数据不会丢失。我们是在三个数据中心中作数据备份,所以你不会担心数据会丢失。唯一你要注意的是,我这个数据的窗口只有24小时的时间,所以你不能等到24小时时间后再去处理,因为我们这个数据窗口只能保留24个小时,这个非常重要!
Q5.Kinesis如果实现实时Join的功能?
答:很多问题问到,我们是怎么实现不同应用程序上的数据处理。其实这都是一个逻辑的问题。我刚才提到,Kinesis在将数据读出来后,你需要写应用程序来把收集上来的数据进行处理。写这样的应用程序目前我们支持的就是用Java和Python这样的语言去写。Java和Python的一些简单的计算的函数都可以用。所以,如果想做加减乘除或一个数据的聚合、分析,你都可以通过应用程序内部的逻辑来处理。这些都是由写应用程序的人来控制的。
Q6.相比Storm的框架,Kinesis中每个shard分片,是否类似tuple元组,可由worker/blot来定义好处理格式?
答:也有人说Strom的架构也会做一些分片的设计,但处理格式来讲的话,目前其实……我不知道这位朋友问到的“处理格式”是什么。因为处理格式是前端进来的,这6个你要怎么样去做。你后面要怎么去处理,去定义,都是由我们刚才讲的Worker来做,shard只是用来当做数据流的一个buffer。
Q7.使用Redshift,如果要在线扩容,需要在新集群中停止写数据,现在有什么方法能实现扩容中业务的透明读写吗?另外Redshift中只有一个Leader node做控制节点,是否存在单点故障的可能?
答:很多有兴趣的朋友问到,实时的数据用kinesis收集、处理以后放在像Redshift上,是否支持不停机做一个在线扩容。可以支持不停机做一个在线扩容,这是Redshift的一个非常好的服务。传统的物理服务器,如果是做数据仓库使用的话,5个节点可能要扩展到10个节点,需要做一个停机,另外买5台机器再做一个扩容。所以传统物理机器需要停机做扩容,但是对Redshift来讲你不用停机我们可以自动帮你做扩容。
Q8.归档的数据Glacier,还可以恢复么?Glacier是否能支持客户直接将自己的数据盘阵(如NAS)邮寄给AWS,在使用时直接挂接到存储系统中导入S3?
答:就导入到Glacier来讲的话,Glacier其实可以被看做一个以前的冷备的服务,可以把它备份在一边做一个归档,也可以从中把归档的数据再拿出来,因为是冷备的数据但是拿出来的时间要3-5个小时才能取出来,因此需要一个时间点。
Q9.Kinesis一次能处理多大容量的数据?
答:有人问到说Kinesis最多可以处理多大容量的数据。其实我刚才已经讲到,看你的shard有多少个,每个shard,也就是每秒的吞吐量进来的话,就是每秒是1MB的容量。所以你可以根据前端吞吐量的需求,去扩充一个分片、两个分片或十个分片或一百个分片…就是根据你的处理量(来扩充)。这样的好处是我们没有一个太大的局限你要多少个shard。如果你有这样一个需求,我们就有这么样一个容量。
Q10.目前Storm和Kinesis可以整合在一起吗?
答:简单地说Kinesis包括Storm的功能,所以说,你用Kinesis等于是取代Storm。但如果目前你已经使用Storm搭建一些东西,那也没问题,Kinesis也可以做前端的实时数据采集,后端的计算也可以交给Storm。所以我们支持Kinesis后面接Storm,这没有问题。当然Kinesis后面也可以接DynamoDB,我们有个连接器,也就是说很简单(就能实现),Kinesis处理完的数据可以直接导入到NOSQL DynamoDB。
认真听课的同学,不妨自己动手试试,以下这篇动手实验指南可以作为参考。
推荐文章:动手指南:使用Amazon Kinesis实现地理数据的实时可视化
相关推荐
掌握AWS:从数据分析到开发工具的全面指南
本文深入探讨了由Jon Bonso和Kenneth Samonte编写的《AWS Certified DevOps Engineer Professional Study Guide and Cheat Sheets》一书中的关键内容。文章首先介绍了AWS Trusted Advisor服务,它提供最佳实践建议以优化成本、性能、安全性和故障容忍。接着,文章详细讨论了Amazon Elasticsearch Service,它允许用户实时搜索、分析和可视化数据,并且集成了ELK堆栈。文章还涉及了Kinesi
好用免费猴PDM查阅器v1.7
# 好用免费猴PDM查阅器 一个用 Python 写的 **PowerDesigner `.pdm` 模型阅读器**:不用装 PowerDesigner,双击就能把 `.pdm` 里的表、字段、主键、索引、外键、注释全部摊开看,任意内容可直接复制,并一键导出 Excel / HTML / Markdown / 建表 DDL。 - **v1.7**:彻底修掉「再点表就覆盖已打开的 sheet」——已打开的表单独记成一份标签列表,和左侧「选中」不再共用状态,**筛选框找表后再点,永远是新开一个标签、绝不动已有的**;已打开的表在清单里显示为**绿色**,再点它是「切回那个标签」,`Ctrl`+单击才关掉 - **v1.6**:左侧清单**点一下就打开**(不用再按 Ctrl / Shift);启动默认进「标签页切换」;标签页开着 5 张以上时切「并排分屏」会自动弹窗让你挑要保留的 4 张 - **v1.5**:两种多表视图 ——「并排分屏」(≤4 栏,窄栏也显示全部列,Shift+滚轮 / 中键拖动可横向滚动)+「标签页切换」(像 Excel sheet 一样一个表一个标签,最多 12 个,看另一张表时其余自动隐藏);exe 图标改用 Windows 原生多尺寸设置,标题栏/任务栏不再被拉伸糊掉 - **v1.4**:多表分屏 —— 左侧按住 Ctrl / Shift 多选表,右侧每张表开一个独立面板并排展示(最多 4 个,各栏自动等宽),超了会弹窗让你自己挑;exe 换成新的像素猴子图标 - **v1.3**:打开过的文件会被记住,下次启动自动载入同一批模型并回到上次查看的表,不用每次重新选 - **v1.2**:新增程序内复制(任意表格框选 → Ctrl+C / 右键复制,支持 Tab 分隔与 Markdown) - 单文件实现,`pdm_viewer.py` 一个文件
用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)
内容概要:本文围绕“用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究”展开,系统阐述了卡尔曼滤波在动态系统状态估计中的核心作用,重点探讨了最优增益的递推计算方法与基于最小均方误差准则的状态更新机制。研究内容涵盖线性系统状态估计的完整流程,包括状态预测、协方差传播、创新计算、卡尔曼增益求解及状态校正等关键步骤,并通过Matlab代码实现了算法的仿真验证,展示了其在噪声环境下对系统状态进行高精度跟踪的有效性。文中不仅强调理论推导,还注重工程实现细节,帮助读者深入理解卡尔曼滤波的数学本质与自适应特性。; 适合人群:具备线性代数、概率统计及控制理论基础知识,熟悉Matlab编程语言,从事自动化、电子信息、通信工程、导航制导、信号处理、物联网或智能系统研发等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标:①应用于传感器数据融合、目标跟踪、惯性导航(如GNSS/INS组合导航)、工业过程监控等存在噪声干扰的状态估计任务;②帮助读者掌握卡尔曼滤波从数学建模到代码实现的全过程,深入理解MMSE估计原理及其在提升系统鲁棒性与精度方面的关键作用;③为后续学习非线性滤波算法(如扩展卡尔曼EKF、无迹卡尔曼UKF)以及更复杂的多传感器融合架构奠定坚实的理论与实践基础。; 阅读建议:建议读者结合提供的Matlab代码逐行调试运行,重点关注预测与更新过程中各矩阵的维度变化与数值演化,尝试调整过程噪声与观测噪声的协方差参数,观察其对滤波收敛速度、估计精度及卡尔曼增益自适应调节的影响,从而深刻领会滤波器的设计思想与调参技巧。
适合政府进行产业链技术缺口识别的分析工具有哪些?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。
Hybrid Mount
杂交挂载元模块 Hybrid Mount Metamodule


