CSDN在线培训——深入了解亚马逊AWS云平台系列之基于云的存储方式

wangyp1230 2014-06-06 05:24:24
加精
演讲嘉宾
方国伟
亚马逊AWS 首席云技术顾问
嘉宾介绍：亚马逊AWS的首席云技术顾问，专门负责在国内推广AWS云平台技术和各种解决方案。在此之前，他是微软全球服务部门数据中心COE团队的资深架构师，负责微软云计算服务和解决方案在中国及亚太地区的推广和服务咨询工作。在加入微软之前，他是IBM中国有限公司软件部的资深软件工程师，负责企业JAVA和SOA解决方案。他跟人合著有两本关于云计算的图书，并在国内外的技术大会上发表过多次关于云计算的技术演讲。方国伟毕业于清华大学计算机系，获硕士学位。

报名地址：http://huiyi.csdn.net/meeting/info/931/tech?project_id=0

【课程时间】：2014年6月19日（周四） 20：50 - 22：00

【课程安排】：20:50—22:00 主题演讲（方国伟）与Q&A

PS:课程咨询请加入QQ群：CSDN云计算群（284712772）

【温馨提示】： 在线视频直播互动，采用三分屏模式，让您感受真实的课堂环境。本次会议机会难得，由于报名人员较多，将对申请参会者进行资格审核，请您务必填写个人信息以便通知（短信、邮件）及时送达，保证您的顺利参会。邮件和短信提醒将会在课程前一天发出，请注意查收！具体时间以邮件通知为准！

课程介绍：深入了解亚马逊AWS云平台

第二讲：360度解析亚马逊AWS数据存储服务
在基于云计算进行应用架构设计的时候，数据存储方式与传统企业应用设计有了很大的改变。一方面用户数据存储的需求随着互联网和应用服务的演变有了很大的变化，另一方面随着技术的发展我们现在有了更多的存储服务选择。经过8年多的快速发展，AWS云平台为用户提供了多种不同的数据存储服务。综合使用多种AWS云平台的存储服务能够帮助用户构建出一个高可用、弹性和可扩展的云计算应用。这个在线讲座将从互联网时代数据存储的多种需求出发，逐一讲解AWS云平台所提供的多种数据存储服务，包括完全基于非结构化数据存储的简单存储服务（S3），侧重于磁盘性能的弹性块存储（EBS）以及传统的关系型数据库服务和NoSQL数据库服务等，并以客户案例为例说明这些服务的实际应用场景。

AWS中文技术社区已经上线http://aws.csdn.net/，课程相关的技术白皮书及视频都可以到社区去下载。另外，还需要什么相关技术资源，回复本贴留下你们的问题，我们会安排相关技术人员进行回复。

【适合群体】 ：
云计算技术人员，企业CTO，其他云技术相关人员。

报名地址：http://huiyi.csdn.net/meeting/info/931/tech?project_id=0
...全文
3472 31 打赏 收藏 转发到动态 举报
写回复
用AI写文章
31 条回复
切换为时间正序
请发表友善的回复…
发表回复
szksmjny 2014-06-24
  • 打赏
  • 举报
 回复
学习再学习！
qq_16848045 2014-06-24
  • 打赏
  • 举报
 回复
anathma 2014-06-20
  • 打赏
  • 举报
 回复
请教各位：在哪里可以在报名截止日前获悉报名地址并注册？貌似每次要报名都已经结束了。有没有邮件提醒功能的？谢谢
大BB哥 2014-06-20
  • 打赏
  • 举报
 回复
视频的在线观看在哪里？
刀刃上的你 2014-06-18
  • 打赏
  • 举报
 回复
不错哦
dzgcsmthmt 2014-06-17
  • 打赏
  • 举报
 回复
good job
FeelTouch Labs 2014-06-17
  • 打赏
  • 举报
 回复
这个必须可以听听的
nettman 2014-06-15
  • 打赏
  • 举报
 回复
小妖森 2014-06-14
  • 打赏
  • 举报
 回复
看起来很不错的样子 不明觉厉
austin9972 2014-06-14
  • 打赏
  • 举报
 回复
cdcxy2009 2014-06-13
  • 打赏
  • 举报
 回复
我就想知道怎样可以获得积分。
mary19910101 2014-06-12
  • 打赏
  • 举报
 回复
现场直播，太好了，人数有限啊
小成长 2014-06-12
  • 打赏
  • 举报
 回复
永远会想着并冲着这个方向努力奋斗：干着喜欢的工作，有喜欢的人作陪该是一件多么幸福的事！
宇宙最强皮皮虾 2014-06-11
  • 打赏
  • 举报
 回复
ssr奥利奥 2014-06-09
  • 打赏
  • 举报
 回复
wangyp1230 2014-06-09
  • 打赏
  • 举报
 回复
@zou900817 @a13532725880 先申请报名，稍后审核资格后 邮件和短信各位地址哈
wangyp1230 2014-06-09
  • 打赏
  • 举报
 回复
@ DBA_Huangzj 目前没有离线的视频
發糞塗牆 2014-06-09
  • 打赏
  • 举报
 回复
有视频不？最好离线的。在用AWS
GW786228836 2014-06-09
  • 打赏
  • 举报
 回复
有机会一定去见识见识
朝露昙花 2014-06-09
  • 打赏
  • 举报
 回复
不错啊，顶一下
加载更多回复（11）
深入了解亚马逊AWS云平台系列
亚马逊AWS 首席云技术顾问方国伟将带大家“深入了解亚马逊AWS云平台”，针对基于AWS的软件架构进行讲解，第一讲将主要包括：AWS云计算概览及价值主张；AWS 服务的特点，灵活、高效、弹性以及安全性；AWS云平台的基础知识，包括AWS的计算、存储、网络、数据库和大数据等服务概况。
Qcon全球软件开发大会[20160421]_亚马逊AWS深度创新实践（厂商共建）
8-4-Deep Learning with Python-费良宏 8-5-初创公司大数据平台架构演进之路-王佳 8-7-基于云平台的容器方案实践指南-代闻 8-4-Deep Learning with Python-费良宏 QCon是由InfoQ主办的全球顶级技术盛会，每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来，已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。 更多其他QCon大会PPT：http://download.csdn.net/user/cleopard/album
深入了解亚马逊AWS云平台
本课程是对AWS入门介绍。包括AWS云计算概览及价值主张，AWS 服务的特点：灵活、高效、弹性以及安全性，AWS云平台的基础知识，包括AWS的计算、存储、网络、数据库和大数据等服务概况。
campion:用于在 Cloudflare Workers 或 Lambda@Edge 上构建 Campion（一种基于边缘的熔断中间件）的部署工具包
基于边缘的断路中间件 它有什么作用？ Campion 是一个基于边缘的无服务器框架，用于为同步调用的外部服务实现断路功能。 它让工程师们高枕无忧，如果他们的同步调用的服务失败，故障会立即返回，从而保护他们的系统免受级联故障的影响，让他们失败的服务有时间恢复，并为他们的最终用户提供更好的体验。 入门 先决条件 Cloudflare 或 AWS 账户 安装了 npm 脚步 运行npm install campion -g进行安装。 类型campion或campionaws使用。 云供应商 提供者 权衡 云耀斑 Cloudflare Workers 是一个令人难以置信的平台。 当用户在 Workers 上部署 Campion 时，它几乎立即部署和运行。 在我们的测试中，它被证明在初始设置和请求吞吐量方面都比 Amazon 产品更快。 从最终用户的角度来看，Workers 在处理请求和返回响应
Hadoop实战中文版.PDF
出版信息编辑 译者：韩冀中 出版社：人民邮电出版社 出版时间：2011年10月 版次：1.1 开本：16开 装帧：平装 字数：417千字 页数：253页 内容简介编辑 作为云计算所青睐的分布式架构，Hadoop是一个用Java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，是谷歌实现云计算的重要基石。《Hadoop实战》分为3个部分，深入浅出地介绍了Hadoop框架、编写和运行Hadoop数据处理程序所需的实践技能及Hadoop之外更大的生态系统。 　《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。 目录编辑 第一部分　Hadoop——一种分布式编程框架 第1章　Hadoop简介　2 1.1　为什么写《Hadoop 实战》　3 1.2　什么是Hadoop　3 1.3　了解分布式系统和Hadoop　4 1.4　比较SQL数据库和Hadoop　5 1.5　理解MapReduce　6 1.5.1　动手扩展一个简单程序　7 1.5.2　相同程序在MapReduce中的扩展　9 1.6　用Hadoop统计单词——运行第一个程序　11 1.7　Hadoop历史　15 1.8　小结　16 1.9　资源　16 第2章　初识Hadoop　17 2.1　Hadoop的构造模块　17 2.1.1　NameNode　17 2.1.2　DataNode　18 2.1.3　Secondary NameNode　19 2.1.4　JobTracker　19 2.1.5　TaskTracker　19 2.2　为Hadoop集群安装SSH　21 2.2.1　定义一个公共账号　21 2.2.2　验证SSH安装　21 2.2.3　生成SSH密钥对　21 2.2.4　将公钥分布并登录验证　22 2.3　运行Hadoop　22 2.3.1　本地(单机)模式　23 2.3.2　伪分布模式　24 2.3.3　全分布模式　25 2.4　基于Web的集群用户界面　28 2.5　小结　30 第3章　Hadoop组件　31 3.1　HDFS文件操作　31 3.1.1　基本文件命令　32 3.1.2　编程读写HDFS　35 3.2　剖析MapReduce程序　37 3.2.1　Hadoop数据类型　39 3.2.2　Mapper　40 3.2.3　Reducer　41 3.2.4　Partitioner：重定向Mapper输出　41 3.2.5　Combiner：本地reduce　43 3.2.6　预定义mapper和Reducer类的单词计数　43 3.3　读和写　43 3.3.1　InputFormat　44 3.3.2　OutputFormat　49 3.4　小结　50 第二部分　实战 第4章　编写MapReduce基础程序　52 4.1　获得专利数据集　52 4.1.1　专利引用数据　53 4.1.2　专利描述数据　54 4.2　构建MapReduce程序的基础模板　55 4.3　计数　60 4.4　适应Hadoop API的改变　64 4.5　Hadoop的Streaming　67 4.5.1　通过Unix命令使用Streaming　68 4.5.2　通过脚本使用Streaming　69 4.5.3　用Streaming处理键/值对　72 4.5.4　通过Aggregate包使用Streaming　75 4.6　使用combiner提升性能　80 4.7　温故知新　83 4.8　小结　84 4.9　更多资源　84 第5章　高阶MapReduce　85 5.1　链接MapReduce作业　85 5.1.1　顺序链接MapReduce作业　85 5.1.2　具有复杂依赖的MapReduce链接　86 5.1.3　预处理和后处理阶段的链接　86 5.2　联结不同来源的数据　89 5.2.1　Reduce侧的联结　90 5.2.2　基于DistributedCache的复制联结　98 5.2.3　半联结：map侧过滤后在reduce侧联结　101 5.3　创建一个Bloom filter　102 5.3.1　Bloom filter做了什么　102 5.3.2　实现一个Bloom filter　104 5.3.3　Hadoop 0.20以上版本的Bloom filter　110 5.4　温故知新　110 5.5　小结　111 5.6　更多资源　112 第6章　编程实践　113 6.1　开发MapReduce程序　113 6.1.1　本地模式　114 6.1.2　伪分布模式　118 6.2　生产集群上的监视和调试　123 6.2.1　计数器　123 6.2.2　跳过坏记录　125 6.2.3　用IsolationRunner重新运行出错的任务　128 6.3　性能调优　129 6.3.1　通过combiner来减少网络流量　129 6.3.2　减少输入数据量　129 6.3.3　使用压缩　129 6.3.4　重用JVM　132 6.3.5　根据猜测执行来运行　132 6.3.6　代码重构与算法重写　133 6.4　小结　134 第7章　细则手册　135 7.1　向任务传递作业定制的参数　135 7.2　探查任务特定信息　137 7.3　划分为多个输出文件　138 7.4　以数据库作为输入输出　143 7.5　保持输出的顺序　145 7.6　小结　146 第8章　管理Hadoop　147 8.1　为实际应用设置特定参数值　147 8.2　系统体检　149 8.3　权限设置　151 8.4　配额管理　151 8.5　启用回收站　152 8.6　删减DataNode　152 8.7　增加DataNode　153 8.8　管理NameNode和SNN　153 8.9　恢复失效的NameNode　155 8.10　感知网络布局和机架的设计　156 8.11　多用户作业的调度　157 8.11.1　多个JobTracker　158 8.11.2　公平调度器　158 8.12　小结　160 第三部分　Hadoop也疯狂 第9章　在云上运行Hadoop　162 9.1　Amazon Web Services简介　162 9.2　安装AWS　163 9.2.1　获得AWS身份认证凭据　164 9.2.2　获得命令行工具　166 9.2.3　准备SSH密钥对　168 9.3　在EC2上安装Hadoop　169 9.3.1　配置安全参数　169 9.3.2　配置集群类型　169 9.4　在EC2上运行MapReduce程序　171 9.4.1　将代码转移到Hadoop集群上　171 9.4.2　访问Hadoop集群上的数据　172 9.5　清空和关闭EC2实例　175 9.6　Amazon Elastic MapReduce和其他AWS服务　176 9.6.1　Amazon Elastic MapReduce　176 9.6.2　AWS导入/导出　177 9.7　小结　177 第10章　用Pig编程　178 10.1　像Pig一样思考　178 10.1.1　数据流语言　179 10.1.2　数据类型　179 10.1.3　用户定义函数　179 10.2　安装Pig　179 10.3　运行Pig　180 10.4　通过Grunt学习Pig Latin　182 10.5　谈谈Pig Latin　186 10.5.1　数据类型和schema　186 10.5.2　表达式和函数　187 10.5.3　关系型运算符　189 10.5.4　执行优化　196 10.6　用户定义函数　196 10.6.1　使用UDF　196 10.6.2　编写UDF　197 10.7　脚本　199 10.7.1　注释　199 10.7.2　参数替换　200 10.7.3　多查询执行　201 10.8　Pig实战——计算相似专利的例子　201 10.9　小结　206 第11章　Hive及Hadoop群　207 11.1　Hive　207 11.1.1　安装与配置Hive　208 11.1.2　查询的示例　210 11.1.3　深入HiveQL　213 11.1.4　Hive小结　221 11.2　其他Hadoop相关的部分　221 11.2.1　HBase　221 11.2.2　ZooKeeper　221 11.2.3　Cascading　221 11.2.4　Cloudera　222 11.2.5　Katta　222 11.2.6　CloudBase　222 11.2.7　Aster Data和Greenplum　222 11.2.8　Hama和Mahout　223 11.3　小结　223 第12章　案例研究　224 12.1　转换《纽约时报》1100万个库存图片文档　224 12.2　挖掘中国移动的数据　225 12.3　在StumbleUpon推荐最佳网站　229 12.3.1　分布式StumbleUpon的开端　230 12.3.2　HBase和StumbleUpon　230 12.3.3　StumbleUpon上的更多Hadoop应用　236 12.4　搭建面向企业查询的分析系统——IBM的ES2项目　238 12.4.1　ES2系统结构　240 12.4.2　ES2爬虫　241 12.4.3　ES2分析　242 12.4.4　小结　249 12.4.5　参考文献　250 附录A　HDFS文件命令　251 构建hadoop运算坚实的平台编辑 百度构建了超大规模的服务器集群来运行Hadoop，其中日志处理与分析占到了全部hadoop集群的80%，处理数据量从几个G到上P，运行时间从几分钟到几十个小时。[1] 谈到Hadoop集群的硬件基础，马如悦告诉IT168编辑：“百度使用的服务器品牌较多，市面上主流的服务器品牌均有涉及，但绝大多数都基于英特尔X86平台，配置则大体上是8核CPU(主要是英特尔至强7400/7500系列)，32GB内存，12TB硬盘。此外我们也在尝试定制自己的服务器。” “选用什么样的服务器需要根据具体的应用而定。比如使用hadoop做日志存储和挖掘，可以参考百度上面的配置。如果是作为HBase的底层存储，并且有大量的随机查询，那么使用SAS硬盘，甚至SSD都是可以的。不同的业务需要不同类型的配置。即使同一个业务，也可能需要分层考虑。这样才能做到成本最低。” 大体来说，hadoop应用对系统的要求侧重计算、存储与网络性能的均衡，这一点则正好与英特尔X86平台不谋而合。英特尔至强7400/7500系列处理器已然为百度Hadoop集群奠定了坚实的硬件平台，今年英特尔发布的至强E5平台则无论在性能、吞吐能力和带宽方面都有均衡的提升。 英特尔最新一代E5处理器相比前代至强5600处理性能提高了80%，同时，英特尔E5芯片中的DDIO技术也大大提高整体IO性能，这一技术能把IO数据包指向处理缓存，跳过内存，从而能够大大减少延迟，增强系统总带宽，还消除了内存的功耗。英特尔集成IO把IO子系统移到了处理器芯片处下，同时得益于PCI-E 3.0的支持，可以把服务器平台的延迟减少多达30%，带宽增加2倍。
AWS

409

社区成员

536

社区内容

发帖
与我相关
我的任务
社区描述
AWS
社区管理员
  • AWS
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章